axiao
(水中月)
1
原贴如下:
老板要求弄个AI让员工使用 - 开发调优 - LINUX DO
经过自己制作通义千问的使用教程及公司内部发全员信,确实有一部分用户开始自己使用AI并体验AI。
现在1月之期快到了,经过上个话题的大佬们的建议,还是计划弄个AI统一页面,到时候集成到OA模块里面让用户使用。
方案如下:
1、安装个Linux系统:SUSE Linux Enterprise,主要是能使用现有服务器
2、离线部署Docker
3、离线部署Docker Compose
4、安装Dify,主要看中也能训练内部知识库
5、不部署本地大模型,直接购买“阿里云百炼API”
看看大佬们还有啥好建议,或者更好的方案吗,谢谢。
12 个赞
kimi360
(KIMI)
2
本地可能还要起下embedding和rerank模型
1 个赞
axiao
(水中月)
3
还要搞模型呀,本来Linux系统就不是很熟悉。。。上面的部署到时候都要问AI详细操作步骤呢。。
kimi360
(KIMI)
4
dify我不是很熟,公司用的是fastgpt+oneapi(newapi)+xinference。效果还不错,搭起来也不难
kimi360
(KIMI)
6
另外一个部门用的openwebui做的知识库应用,据说因为太弱智被大领导骂死了。
这个只是界面,你后面还可以对接其他的,比如你把文档丢到任意云厂商去训练,然后可以直接用标准 OpenAI 格式调用
Dify 训练后的智能体也可以用这个接入
不要用dify,知识库能力太差。。。
替代产品有:FastGPT、RagFlow等。。。
1 个赞
Run
(Run)
11
不需要,embedding和rerank模型也有 API 可以调用,硅基上有,不知道百炼上有没有。
kammmk
(你好呵呵)
12
你如果用阿里百炼的api,数据可以上云的话,直接用百炼的知识库就行了
测试一些带图片的pdf给它。。 你就看到它的水平是不太行的了~
1 个赞
我用他的文档提取器去进行PDF解析是有点问题的,压根不支持图片 
所以我改了他的源码
RAG增强方案非常多。。。 参考这个:如何提高 RAG 管道的性能 | Milvus 文档
重点是不同领域的文档,需要的增强方式也不同,做增强的时候,使用的Prompt都不同。