openwebui知识库向量化和重排模型选择分享

之前用openwebui,2H4G超开云跑不动 Embedding,最终本地部署+内网穿透到vps。(备用方案拉硅基流动api)
选择Embedding模型,用bge-m3
选择Reranker模型在超开云可以用BAAI/bge-reranker-base(openwebui好像不能拉api,如有实现方式请指正),如果佬友配置不错选择BAAI/bge-reranker-v2-m3。
最终配置是bge-m3+BAAI/bge-reranker-base
简单测试下来是单纯开bge-m3,1000道题库,有一定错误概率。如果是bge-m3+BAAI/bge-reranker-base,提升效果不错。
当然我不是程序员,只是本人实际使用过程,心得分享一下,欢迎指正和分享。

最后纠正下:bge-m3在我笔记本上,内穿到vps(超开云)。reranker重排模型在vps(超开云)上运行。bge-reranker-base占用并不大,2h4g跑的动

10 个赞

所以reranker是本地部署的?

2 个赞

我也是用的这两个

2 个赞

Open WebUI 的嵌入模型可以使用内置引擎拉模型就行(楼主推荐的 BAAI/bge-m3 值得推荐),也可以使用 Ollama 和 OpenAI 兼容接口的。
重排模型只支持内置引擎拉模型(同样楼主推荐的 BAAI/bge-reranker-v2-m3)的,不支持其它 API 接口的。

4 个赞

我这里一直存在问题。我通过one-api进行聚合,然后使用硅基流动的模型,一直提示 not iterable.

reranker重排模型在vps上,BAAI/bge-reranker-base,2h4g能运行。之前编辑帖子,手动打字太急,已经改正。
BAAI/bge-reranker-v2-m3模型,轻量云2H4G跑不动,需要更好的配置。

建议检查具体配置。


你参考下

1 个赞

感谢佬友回复。这里纠正下,之前打字太急(家人催吃饭),是 BAAI/bge-reranker-base这个重排模型。 :sweat_smile:

我一直用的是 BAAI/bge-reranker-v2-m3

我直接在oi里填硅基的api和key了。目前发现一个问题就是当我上传比较大的文档的时候,会存在明显的卡顿。服务器CPU都上90%了,是因为我的设置设置的比较大吗?

1 个赞

嵌入层批处理大小 (Embedding Batch Size) 先从16开始测试,慢慢加。
文本向量化我不是专家,给不了建议。

放弃了 还是使用lobechat吧 。lobe在文件处理上确实比oi好很多

个人知识库还是推荐 cherry studio 配合硅基流动;web 端推荐谷歌的 notebook lm