RT,恳请需要领域内dalao帮帮忙
最近课题组老板估计被铺天盖地自部署的宣传整魔怔了,想要让组内都用上 ai+知识库。上面拍脑袋,下面跑断腿啊
情况说明:
- 20人左右的局域网并发访问,项目不上公网,内部用
- 主要ai对话,每个同学对话相互隔离
- 同时有一个统一的知识库,所有人可以调用。文件类型就 office 三件套+pdf
- 没有额外的硬件预算,给了我 1000 的报销额度报销 api
我的想法:
- 本地部署对话和embbeding模型就不考虑了
- 方法一(全部统一部署,需要多用户+统一知识库),考虑直接拿台空闲台式机docker部署Open-Webui 一把梭,知识库功能让所有人都可以访问。(但openwebui 的知识库效果会不会不太好?)
- 方法二(对话本地部署,知识库统一部署),让每个人自行安装 Cherrystudio 专门用来对话,然后专门配置个知识库项目预先将文件都用 api向量化处理好,然后让 Cherrystudio 局域网内调用这个统一的知识库。
问题在于:
- 我没用过Cherry studio,不确定能不能使用局域网知识库。如不行,有没有其他替代项目
- 有没有什么好用的局域网知识库项目,可以预先通过 embbeding api 向量化处理并存储文档
感激不尽
45 Likes
这个好像是使用他们官网服务的收费
,我想的是本地部署 fastgpt 项目,使用自己的 api
这样也要收费吗
3 Likes
Tflystar
(Tflystar)
10
dify的数据库我试过,一言难尽,文档答案全列出来了都不回答完全,就回答1,2条,fastgpt本地部署的就没啥问题
5 Likes
dify 也能本地部署吗,因为我们老板总想着组内文件传上网不安全,但实际上 api 处理也要上网 
2 Likes
diping
(大白)
13
这个个问题昨天有人问过了。。。。建议用搜索看看,人家是5w的预算。。。你就1000
5 Likes
我看到了
没办法啊,课题组老板就这样了
那个贴想的是模型也本地部署,所以预算挺多。我目前计划模型相关的都用 api,仅应用本地部署
2 Likes
diping
(大白)
16
openwebui 你的预算最好的考虑。。。你可以搜搜论坛,他可以使用重排,cherry目前不支持,理论上效果会比cherry好。。。你的预算方案选择有限的狠
4 Likes
OpenWebUI 之前尝试喂过 markdown,问答效果还行
2 Likes
Grandy
(Grandy)
18
我试过cherrystudio,open-webui,ragflow,效果最好的是ragflow,但是ragflow太重了
2 Likes
komisch
(鲁树人)
19
fastgpt自己部署是不支持多用户的 建议你用ragflow
Zwalking
(Zwalking)
20
建议用 dify 做各类型的知识库,然后根据需求的不同设定对话应用,然后再调用 API