LobeChat 吐字变快了一点,终于开始优化性能啦!

:zap: perf: improve performance on long context text by arvinxx · Pull Request #3754 · lobehub/lobe-chat (github.com)

经大佬优化吐字感觉快了一些,但对比open-webui 还是比较明显的差距。
现在lobechat功能很完善了,期待后续的性能优化!

17 Likes

db 版本自建还是可以的

我也是在用 db自建。多环境不用在导入导出了

能不能给下OpenWebUI 和 LobeChat 的对比,我看下具体还差在哪些地方。

目前看下来另外存在的问题是长文本下 React Markdown 的渲染性能非常差。 300k 的文本一次渲染大概要差不多1s,然后 message list 又会频繁渲染,这个估计是长文本下卡顿的核心原因

帖子有个gif链接我简单对话对比了下。更深入的我到是不会了

OpenWebUI 这个启动更快 哈哈哈
顺便说一下 能不能支持GITHUB 模型
还有 梅林 的KEY
你能直接用的越多 依赖性大家就越强

可以考虑一下登录系统也可以自部署吗,除了性能上面,lobe其实是各方面都比oi成熟的

2 Likes

owu 确实更快,lobe 的 vercel 部署,prompt 发出去,要停顿两秒左右,开始吐字。owu 基本上就感受不到停顿。跟上下文没啥关系,新对话 lobe 也明显慢,对话长了更别提了。。。

我 owu 也是部署在欧洲烂线路而已

1 Like

这种一般接new-api。可自己直接用

懒啊 我自己有 但是感觉直接提供更舒服

github model可以直接走lobe上用。放在openai那里,不要加v1

如果只是要吐字快的话,我给一个 smoothing 开关估计就好了…

停顿两秒应该是在存数据+创建新消息,这个理想速率应该是在 500ms 左右。这个如果慢得看下你是怎么部署的。比如 db 和 Serverless function 不在一个区域,那么通信开销就不可忽略。

我之前测过如果 Serverless Function 在HK,db 在US,那么单次db请求估计就要 300ms。来回几下就 1s 开外了。

你要速度理想的话可能最好把 db和后端放在一起,比如用 docker 部署,或者Serverless Function 和 DB 都在一个区域。(比如 Vercel Serverless Function 在 US-east-2, DB 用 Neon 实例,也放 US-east-2)

1 Like

你看下我们的官网 docker-compose ?已经有了

https://lobehub.com/zh/docs/self-hosting/server-database/docker-compose

就比如点了停止后还会继续吐字,而且很快。感觉那是字在缓冲区没吐出来的,停止后然后一股脑输出。

就有一种ui速度跟不上api响应的速度感觉

启动速度虽然未来也能有优化空间,但这个估计能优化的地方比较少…毕竟功能带来的 JS Bundle 体积是很难小下来的。

1 Like

如果是存数据和新建对话占用时间,建议可以在ai完成当前输出后进行,毕竟用户发第新消息肯定会有大于1s的间隔。

好的好的!感谢开发者

自己还是不行,logto卡住了,加了github验证,但好像填的东西有问题,不能用 :joy:

清空当前消息也会卡很久,我是pg和lobe同一台服务器的。本地连接