求助各位佬友,我平时只用服务器docker部署new api + openwebui + OpenWebUI monitor
之前跟着Cook_Sleep佬的教程做的
现在服务器租了一个月需要续费,之前开的是
里的
但是不知道是api上游问题还是服务器问题,流式输出总是卡成一大段一大段蹦出来,响应时间也长,经常卡个20s(在其它chabox就流畅一些,api官网自带的界面里流式输出也很流畅),另外上传图片的对话响应时间还要再加10s。
所以求问各位佬,究竟是延迟问题还是带宽问题还是啥昂?
我有必要换服务器吗?
目前在考虑下面两款:
里的
或
不懂cpu、带宽、延迟对于openwebui里的对话体验会有什么帮助吗,谢谢大家orz!
顺便问一下,docker可以从一个服务器迁移到另一个服务器吗(鞠躬)
28 个赞
bbb
2
本地电脑跑个 open webui 试试,还卡的话就是 open webui 或者api 上游的问题了
3 个赞
看看延迟,流式输出对于延迟比较敏感的,香港服务器延迟控制在50毫秒以内为佳,美国服务器延迟控制在160毫秒内为佳
1 个赞
Winn
(Winn)
6
我用的腾讯云香港轻量,2c4g,30m宽带2056g流,41每月
2 个赞
yonse
(XYZ)
8
想问下部署 new api + openwebui ,内存和外存占用情况
我这里倒是没遇到你说的那种问题,不知道你租的是哪个区的。
你下面考虑换的我是强烈不推荐,上传和下载带宽太小了,拉取、更新项目慢不说,你在 Open WebUI 里传个图或者文件都会慢死的
2 个赞
原来如此,谢谢佬,我是买的四区(80ms)2c4g那款,可能是我api的问题,我也一直在排查
2 个赞
yonse
(XYZ)
13
就看看内存和硬盘占用,看来我的小鸡是部署不了这么多东西了
covfefe
(shc)
15
1, 可以用top查一下CPU占用,以及idle time/steal time; 不过一般来说如果仅仅是这些程序,1 C / 2 GB RAM小鸡就足够,不至于导致卡顿;
2, 如果是网络延迟、带宽原因,顶多导致1-3 s左右卡顿,不至于20 s卡顿;
3, 可以基本肯定是上游API导致的卡顿。
可以试一下官方或者的API看看卡不卡。
1 个赞
sinfor
(Elon Musk)
16
试试不用数据库运行openwebui ,使用自带的SQLlite
1 个赞
passerby
(半杯无糖)
17
跟你一比我1H1G的小垃圾简直是当牛当马:
我的openweb ui的出字情况完全看api的延迟情况
2 个赞
bingloo
(落叶)
18
你的这些需求压根用不上服务器,还买那么贵的,属于浪费了。
2 个赞
感谢佬,我也是想买一个服务器学习学习相关知识,一点一点往里加东西
1 个赞
Winn
(Winn)
20
15.88一个月的服务器,香港美国2c4g,就是带宽小点,管它什么车呢