17 个赞
是不是生成标题啊?看看消耗的tokens
自动生成标题,输出都是十几 Tokens 的。
如果初次对话没有自动生成标题,你还发了图片两三轮才生成标题的话,你会发现输入的 Tokens 爆炸。
如果你的前端用同样的对话模型生成标题的话,那也是够坑的
2 个赞
补充点信息吧,看看输入输出的数据,以及具体使用方式(前端调用还是程序调用)
我开始的时候怀疑是摘要消耗了,后来把摘要模型设置为4o-mini发现对话一次后台还是算两次
这一条很明显就是标题生成吧
2 个赞
用 openWebUI就会这样,迷啊!
在next-chat里面使用api调用的
nextchat 的话有可能是生成标题或者内容总结
2 个赞
nextchat 去设置里把「自动生成标题」勾掉就行。nextchat OpenAI 预设的模型会使用 4o-mini 请求生成标题,渠道没有 4o-mini 就会报错。自定义模型如 Claude 3.5 这些就是用这个模型请求两次。
3 个赞
我也发现了这个问题,而且消耗还挺大。。这样就有点坑了
1 个赞
openWebUI 我也这样,我点头像–>设置–>界面 找对话里面的自动生成标题
和自动生成对话标签 关了就好了,或者你在管理员面板 设置 界面 设置任务模型搞个免费的模型
如果上下文过长,nextchat会自动总结,这个也会调用api的