经大佬优化吐字感觉快了一些,但对比open-webui 还是比较明显的差距。
现在lobechat功能很完善了,期待后续的性能优化!
db 版本自建还是可以的
我也是在用 db自建。多环境不用在导入导出了
能不能给下OpenWebUI 和 LobeChat 的对比,我看下具体还差在哪些地方。
目前看下来另外存在的问题是长文本下 React Markdown 的渲染性能非常差。 300k 的文本一次渲染大概要差不多1s,然后 message list 又会频繁渲染,这个估计是长文本下卡顿的核心原因
帖子有个gif链接我简单对话对比了下。更深入的我到是不会了
OpenWebUI 这个启动更快 哈哈哈
顺便说一下 能不能支持GITHUB 模型
还有 梅林 的KEY
你能直接用的越多 依赖性大家就越强
可以考虑一下登录系统也可以自部署吗,除了性能上面,lobe其实是各方面都比oi成熟的
owu 确实更快,lobe 的 vercel 部署,prompt 发出去,要停顿两秒左右,开始吐字。owu 基本上就感受不到停顿。跟上下文没啥关系,新对话 lobe 也明显慢,对话长了更别提了。。。
我 owu 也是部署在欧洲烂线路而已
这种一般接new-api。可自己直接用
懒啊 我自己有 但是感觉直接提供更舒服
github model可以直接走lobe上用。放在openai那里,不要加v1
如果只是要吐字快的话,我给一个 smoothing 开关估计就好了…
停顿两秒应该是在存数据+创建新消息,这个理想速率应该是在 500ms 左右。这个如果慢得看下你是怎么部署的。比如 db 和 Serverless function 不在一个区域,那么通信开销就不可忽略。
我之前测过如果 Serverless Function 在HK,db 在US,那么单次db请求估计就要 300ms。来回几下就 1s 开外了。
你要速度理想的话可能最好把 db和后端放在一起,比如用 docker 部署,或者Serverless Function 和 DB 都在一个区域。(比如 Vercel Serverless Function 在 US-east-2, DB 用 Neon 实例,也放 US-east-2)
你看下我们的官网 docker-compose ?已经有了
https://lobehub.com/zh/docs/self-hosting/server-database/docker-compose
就比如点了停止后还会继续吐字,而且很快。感觉那是字在缓冲区没吐出来的,停止后然后一股脑输出。
就有一种ui速度跟不上api响应的速度感觉
启动速度虽然未来也能有优化空间,但这个估计能优化的地方比较少…毕竟功能带来的 JS Bundle 体积是很难小下来的。
如果是存数据和新建对话占用时间,建议可以在ai完成当前输出后进行,毕竟用户发第新消息肯定会有大于1s的间隔。
好的好的!感谢开发者
自己还是不行,logto卡住了,加了github验证,但好像填的东西有问题,不能用
清空当前消息也会卡很久,我是pg和lobe同一台服务器的。本地连接