@Heracleitus 说说实现的方案呗,我也非常有兴趣
@hdcola 有时间我会写一篇分享经验的,现在就简单说一下思路吧。
我发现chatGPT Web中的回答格式主要根据两点:(1)prompt的设置(2)上下文回答中的格式。
之前我一直尝试通过设置prompt来稳定格式,但是因为使用的是gpt-3.5,效果非常不稳定,基本上每次格式都不太一样。
但现在只需要利用上下文中的回答格式,只需要生成一次格式正常的回答,然后下一次回答就会按照上一次回答中的格式,不需要额外设置prompt就能实现非常稳定的格式输出。
这个方法主要运用于ChatGPT Web,理论上来说用在一般API中的请求也可以,但是这样就要每次在请求时附送上一次的对话,其实也就和单独设置prompt没什么区别了,而且也很费token。
@Heracleitus 费token这事儿其实就是找便宜的模型就好,回头我试试本地模型的效果。现在越来越喜欢本地模型了。