danmo123
(danmo123)
1
如题,在2核4G服务器的基础上(没有用cloudfare,而是直接nginx+certbot自动申请域名的方式),仅仅搭建了一个1panel+new api的基础上,无论是什么模型,似乎第一次吐字速度都要比next-web、lobechat、cherry-studio似乎都慢2倍左右。
例如,火山引擎当中的deepseek v3与aistudio当中的Gemini-flash-2.0,nextweb一秒钟就崩出字来了,但是:
openwebUI在2-3秒钟之后,才蹦出字来
请问佬们,这个是正常情况,还是服务的问题;是否有好的解决方法?
目前,我总结了一下各位佬的意见:
-
openwebUI第一个字吐出来慢,可能是因为openwebUI本身代码的问题;跟服务本身的配置有关系
-
目前我自己的解决方式是:第一,用ip地址:端口,这种方式代替用地址;第二种,使用openwebUI支持的各种函数(虽然还是卡,但是已经达到能够接受的程度了)
PS: 我引用的函数如下:
chat01.ai的o1、o3-mini-high
aistudio当中的Gemini
new api当中的gemini 2.0-flash
Perplexity api联网
火山引擎的deepseek R1
总结了一下佬友的建议,可能是这三个原因:
- 数据库写入延迟
OpenWebUI 默认在返回响应前会写入数据库(比如保存对话记录),如果数据库性能差(比如用 SQLite 且磁盘慢),或者同步写入(必须等写入完成才返回),就会拖慢首字速度。
- CPU 性能不足
2 核 CPU 在同时处理 Nginx 反向代理、数据库、OpenWebUI 时,可能被占满。首次生成时需要初始化模型、处理请求,CPU 短时 100% 会导致卡顿。
- 网络或 API 延迟
如果你调用的模型 API 本身有冷启动问题(比如火山引擎或 AI Studio 的服务器需要预热),首次请求会较慢,但 Next-Web 这类工具可能优化了等待逻辑。
openwebUI的插件市场在这里:https://openwebui.com/
19 个赞
4396
5
04.x以后确实是有这个问题
同一个渠道,走pipe请求,就秒出字
走api配置,就得等上三四秒
因为消息,改成了异步,为了能让你离开页面 不打断后台请求
最早是同步返回,离开 请求就没了
但是为什么 pipe 异步的情况下能秒出字
感觉还是代码有问题
4 个赞
danmo123
(danmo123)
10
这个我不知道诶,我使用这两个组合的原因是:我是个代码白痴,我仅仅会用AI来写代码;而AI处理文字的能力是最强的,处理图片能力不太好
所以我没有选择cloudfare申请证书+1panel+op开头的
而是,直接手动让ai申请证书(就是用文字就是用命令行,就是用相应的指令)
我不知道我这样说能不能get到我的意思
2 个赞
danmo123
(danmo123)
13
不是,是我把我想要干什么这个事情跟AI说,然后让AI把相应的命令行给我,我来用这个指令去申请
2 个赞
jiu1
(小黑紫一枚)
15
因为你发送的信息需要等待保存到数据库才会开始请求API,返回信息后是先经过数据库再给你的,这就是openwebui可以后台继续输出的原因
(仅个人论点,以实际为准)
3 个赞
danmo123
(danmo123)
16
好的,谢谢佬提供的原理,我重新用deepseek-r1总结了一下:
- 数据库写入延迟
OpenWebUI 默认在返回响应前会写入数据库(比如保存对话记录),如果数据库性能差(比如用 SQLite 且磁盘慢),或者同步写入(必须等写入完成才返回),就会拖慢首字速度。
openwebUI首字符慢,可能是正常的现象(((??
1 个赞
danmo123
(danmo123)
17
不排除是,我看了一下我的总内存:3.3G,用了1G,实际可用还剩下2.1G左右。(我也不太清楚)
1 个赞
danmo123
(danmo123)
21
这么说,这个就是正常的了;欸,不过openwebUI的除了这个外其他都是优点
自己的数据库,各种函数,使用起来的UI都挺舒服的
2 个赞