公司极低成本搭建AI应用方案推荐

原贴如下:
老板要求弄个AI让员工使用 - 开发调优 - LINUX DO

经过自己制作通义千问的使用教程及公司内部发全员信,确实有一部分用户开始自己使用AI并体验AI。
现在1月之期快到了,经过上个话题的大佬们的建议,还是计划弄个AI统一页面,到时候集成到OA模块里面让用户使用。
方案如下:
1、安装个Linux系统:SUSE Linux Enterprise,主要是能使用现有服务器
2、离线部署Docker
3、离线部署Docker Compose
4、安装Dify,主要看中也能训练内部知识库
5、不部署本地大模型,直接购买“阿里云百炼API”

看看大佬们还有啥好建议,或者更好的方案吗,谢谢。

12 个赞

本地可能还要起下embedding和rerank模型

1 个赞

还要搞模型呀,本来Linux系统就不是很熟悉。。。上面的部署到时候都要问AI详细操作步骤呢。。

dify我不是很熟,公司用的是fastgpt+oneapi(newapi)+xinference。效果还不错,搭起来也不难

墙裂推荐 OpenWebUI

另外一个部门用的openwebui做的知识库应用,据说因为太弱智被大领导骂死了。

这个只是界面,你后面还可以对接其他的,比如你把文档丢到任意云厂商去训练,然后可以直接用标准 OpenAI 格式调用

Dify 训练后的智能体也可以用这个接入

不要用dify,知识库能力太差。。。

替代产品有:FastGPT、RagFlow等。。。

1 个赞

好的,我再了解一下。。。不想整太复杂

我感觉dify还行啊

不需要,embedding和rerank模型也有 API 可以调用,硅基上有,不知道百炼上有没有。

你如果用阿里百炼的api,数据可以上云的话,直接用百炼的知识库就行了

测试一些带图片的pdf给它。。 你就看到它的水平是不太行的了~

1 个赞

我用他的文档提取器去进行PDF解析是有点问题的,压根不支持图片 :rofl:
所以我改了他的源码

RAG增强方案非常多。。。 参考这个:如何提高 RAG 管道的性能 | Milvus 文档

重点是不同领域的文档,需要的增强方式也不同,做增强的时候,使用的Prompt都不同。

感谢佬的科普,我研究研究去

1 个赞