请问有部署过fastgpt的佬吗，请教一个知识库的问题

[mrlaogui]

按照官方文档进行了部署，也顺利打开了网页，测试了不带知识库和带知识库，正常。

现在困扰的问题就是关于知识库的索引，好像非常慢，慢到让人觉得是不是没有工作。

所以想问，是不是需要很强大的硬件才可以支撑知识库？

[furry (猫娘)]

老毛病了

[haitao_lin (Microsoft Azure)]

目前知识库正常

[mrlaogui]

啊这样吗

[mrlaogui]

之前就成功了一个后面的就不行了一直在索引阶段

[haitao_lin (Microsoft Azure)]

是不是模型的问题

[mrlaogui]

按照官方教程进行的部署，除了删掉了oneapi部分以及去掉了几个用不到的对话模型，其他没有改。看了一下默认使用是Embedding-2这个索引模型

[shsb]

你这能索引还好啦，我要爬的网站直接拒绝机器人呢

[siyu1234l]

拿QA模版来说
他会先拆分成QA问答的格式
这个部分需要调用chat模型比如gpt-3.5-turbo
这个过程中还涉及到各种中文分词，数据库写入，加入队列等一系列复杂的操作
之后提取出QA问答
用embedding模型逐步转化为向量数据，写入向量数据库
总之这涉及到好多的api的调用，花时间长主要是在等待上游API的响应上

[Cai_Cai]

mark

[Ke_Lee (始祖鸟)]

embedding是有要求的，普通的key就是很慢，应该需要比较好的key才行吧，我之前也是这样，有的中转站就比较慢，有的就比较快

[Ferguson (Alex)]

embedding用的是哪个模型？和模型有关系

[lingoo]

cy

[SteveJobs (史蒂夫·乔布斯🛡️)]

可以考虑自建个M3E模型，纯CPU也可以跑

[mrlaogui]

感谢解答

[mrlaogui]

默认使用是Embedding-2这个索引模型

[happyshark]

可以试试m3e-large模型，官网有提供docker使用cpu跑，也可以自己打一个跑在gpu上~

[Ferguson (Alex)]

如果是openai的embedding，这个速度慢，可以先检查下网络。或者就自己搭bge系列的，比如large-zh或者bge-m3，bge还有rerank，也可以本地部署。

[mrlaogui]

好的，感谢指路