请教:知识库模型

请教各位大佬,我要创建2个知识库,用的是cherry studio,一个是全代码,一个是全文档,请问分别用哪个嵌入式模型好?谢谢

2 Likes

可以用硅基流动免费的bge-m3

5 Likes

谢谢马克思大佬

好像对于代码 没什么大差别,有差别的 主要是很垂的领域才有人做
比如 法律、医疗等等

1 Like

好的,谢谢佬

纯中文用me3
代码中英文混杂的用bge-m3

4 Likes

嵌入式模型一定选BEG-M3,绝对专业嵌入式模型,硅基流动中有,Ollama模型中也有

5 Likes

朋友,假设你对 cherry studio 的整体命中率是满意的,那么,结合我自己使用的情况,严谨一点的办法,是依据你的使用场景来选择。

  • 一般来说要考虑知识库的语种,即中文、西文或者混合的,不同模型向量之后会有区别,要看您的文档类型。我使用中文比较多,目前使用下来感觉可以的是bge和jina(另外还有两个口碑不错的,但我没用过:voyage和gemini最新出的那个)。
  • 其次,可能还与您使用的大语言模型有关。我用下来觉得gemini 2.0pro 和 claude 3.7 不错。
  • 最后,还可能与向量的模式、参数设置有关。以我常用的fastgpt为例,有问答模式、语义检索等,适用不同场景。
    所以,不好一概而论。省事儿就bge,想提升就多尝试。
6 Likes

建议上ollama的bge-m3 我周末1000多个HTML 我第一天用硅基bge-m3等了6个小时中间还有失败的情况(比较少)。第二天想起我本地有接上了 基本上5分钟左右就完事了

1 Like

硅基的api那么慢的吗?

感谢以上各位大佬指点,待我实践去

看你知识库的量了,文件少可以用,多的话还是下ollama 没啥硬件要求

嵌入模型 BAAI/bge-m3,推荐用 Text Embeddings Inference 部署,性能好,够快

这个可以在ollama部署吗?没看到有

BAAI/bge-m3 是嵌入模型,这个 Ollama 有。
text-embeddings-inference 是专门用于部署嵌入/重排模型的软件,和 Ollama 类似,Ollama 主要是用于大模型推理引擎部署,同时也能部署一些嵌入模型,不过 Ollama 的性能不高,text-embeddings-inference 的性能比较好。

使用的话,推荐本地部署还是云端?

本地部署

我也想知道有没有云端知识库,向量化后支持API调用的,方便代码整合

本地用的什么显卡跑的啊

笔记本4070 8G显存