我有个项目需要接入一些语言模型,然后想用openwebUi来中转,但是在我自己项目去计算消耗的tokens比较麻烦又担心计算不一致,本人不会py语言,请教一下 openwebUi项目有什么地方可以设置 或者加入什么函数,api接口返回的 能有输入输出消耗的tokens数量
2 个赞
看看这个
3 个赞
openwebui中转吗？是API中转还直接开放给用户对话
正确的！
你这个哪个版本的，我好久没触发出来了（开了usage 
哪个版本都有哇 我从0.4版本开始用 就一直有这个
不行就用上面佬的，非常好用
我之前也有的，不知道从哪个版本开始就没了…
我目前也用这佬的这个，但是计算的不准…
是这样的,我可能没表达清楚. 流程是 用户前端发起会话–服务端转发api到webui服务。 然后我想在中间的服务端处理扣除tokens逻辑，不在webui上面处理。举个例子,比如加个函数,请求webui的/api/chat/completions接口,然后接口返回消耗的tokens，这样子就省的自己再计算一遍
我用的是最新版本 是没看到这个,不知道是不是我模型用的是gpt4的原因还是版本问题
哥,刚才没表达清楚，这个没满足需求,我的想法是调用webui的会话api能直接得到消耗的tokens. 比如请求/api/chat/completions接口 返回字段加上usage消耗tokens
api中转
api中转用new-api就可以了
前端界面已经参考webui写完了,现在就差计算tokens这个步骤了.暂时应该不考虑换其他的
应该是,就是相应的api有返回当条数据消耗的输入和输出tokens
我记得new-api会返回相应的usage
open webui 是前端啊，它没有中转能力吧，虽然自带后端，那是用来接入 api 来给自己用的
没明白你要怎么用
正常的 api 接口都会返回 tokens 用量信息的
是这样的 前端发起会话请求 - 请求后端api - 然后这时候我后端只做了转发处理-转发到openwebui的服务里面。 图片是我自己项目,我项目还有其他功能,有自己的积分啥的，现在想整合会话进去。然后服务端想用别人写好的，就选择了openwebui,然后就是想在自己的服务端处理扣除tokens的操作，就想着webui的api有没有直接返回会话消耗的tokens 省的还得计算一次
请问这个怎么弄？