在hugging face 上面搭建的 openwebui 首字回复非常慢

开发调优
1

请问是哪里设置错了吗

2

可能是请求发的比较慢，可以观察下

  1. 你到 OWU 的请求耗时，重点是 /chat/completion 接口
  2. OWU 发起请求的耗时
3

这个是不是在hugging face日志里面可以看到

4

第一个看 Chrome 的日志哦，第二个没有很好的观察方式，如果有容器的话，可以进容器直接请求 OAI 得接口，或者接入 OpenTelemetry，当然这个成本就高了

5

这个先不管了，还有个问题，我在用cherry 调用站内公益gemini 2.5pro 模型时，发现上传的文件不可读，请问这是为什么呢？

6

我没用过 cherry :rofl: 等其他佬友解答吧

7

好吧，感谢解答

8

我在国内服务器部署的也需要十秒左右才出首字，不理解原因。。。

9

卡的我不想用 :rofl:

10

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。