佬友们Open Webui知识库用text-embedding-004，感觉不生效

[preacher (Muse)]

google 没有重排模型，然后我传个512KB诗词集，测试得时候感觉不生效。
真滴离谱得很。
请教下嵌入层批处理大小 (Embedding Batch Size) 佬友们是默认还是拉到最大

[Winston_Charles (Winston)]

chunk_size一般512或者1024，看你embedding模型的上下文多大

[Winston_Charles (Winston)]

不过你这里是batch_size，这个只跟你内存有关

[preacher (Muse)]

已经尝试(远程)调用ollama向量化模型，目前重排模型遇到了问题，不能拉API，只能直接下载

[Winston_Charles (Winston)]

rerank不是必须的 有高精确召回（细粒度语义）的需求才用

[preacher (Muse)]

后面可能会用到长文本，rerank配置试试。

[preacher (Muse)]

你说的也有道理。

[Allan1]

我的 YouTube 貌似被标记为国内用户了，从来没有广告

[Winston_Charles (Winston)]

要用rerank的话推荐智源的 BAAI/bge-reranker-v2-m3 和 BAAI/bge-reranker-v2-minicpm-layerwise，实测hit rate和MRR比较高

[preacher (Muse)]

好的感谢你的建议

[tonie]

raG效果确实差到我都觉得是不是没起作用。。。。有点鸡肋

[preacher (Muse)]

围观的佬友

[tonie]

昨天我给它知识库重置，另外传了一遍，可以看出正常了，但效果也就那样。还有什么特别的设置技巧没

[Newbie101 (EinDollar ProMinute22点后不在)]

Open webui重排序模型选择BAAI/bge-reranker-v2-m3后，确实不能从网站调用，后台日志显示直接给我从hugeface上下载下来了，2.1g大。但是硅基最近上新了Pro/BAAI/bge-reranker-v2-m3，导致现在用不了。
还有一个问题，重排序模型选了BAAI/bge-reranker-v2-m3后，后台日志看不到有没有使用这个重排序模型，所以也不确定到底有没有用到。
重排序模型没几个，目前接触到的就只有硅基的这个。