13 Likes
chunk_size一般512或者1024,看你embedding模型的上下文多大
1 Like
不过你这里是batch_size,这个只跟你内存有关
已经尝试(远程)调用ollama向量化模型,目前重排模型遇到了问题,不能拉API,只能直接下载
1 Like
rerank不是必须的 有高精确召回(细粒度语义)的需求才用
后面可能会用到长文本,rerank配置试试。
你说的也有道理。
我的 YouTube 貌似被标记为国内用户了,从来没有广告
要用rerank的话推荐智源的 BAAI/bge-reranker-v2-m3 和 BAAI/bge-reranker-v2-minicpm-layerwise,实测hit rate和MRR比较高
1 Like
好的感谢你的建议
raG效果确实差到我都觉得是不是没起作用。。。。有点鸡肋
围观的佬友
昨天我给它知识库重置,另外传了一遍,可以看出正常了,但效果也就那样。还有什么特别的设置技巧没
Open webui重排序模型选择BAAI/bge-reranker-v2-m3后,确实不能从网站调用,后台日志显示直接给我从hugeface上下载下来了,2.1g大。但是硅基最近上新了Pro/BAAI/bge-reranker-v2-m3,导致现在用不了。
还有一个问题,重排序模型选了BAAI/bge-reranker-v2-m3后,后台日志看不到有没有使用这个重排序模型,所以也不确定到底有没有用到。
重排序模型没几个,目前接触到的就只有硅基的这个。