我一开始就是按项目里说的方法,给r1的api加上了prompt:
Initiate your response with "<think>\n" at the beginning of every output.
但是仍然会遇到这样的情况:
也就是它确实输出了 <think>\n
,但是立马闭合了 thinking 过程。
我刚刚想到的trick就是换成了这个prompt,也是昨天看到一个佬友的思考受了启发:
Initiate your response with "<think>\\n嗯" at the beginning of every output.
多了一个“嗯”字,强制它展开思考。
至于代码,就是改改nextchat的“注入系统级提示信息”,只要模型含有r1之类的关键字就注入prompt,比较方便,不用每次开新对话后都要发那个prompt。