【求助】关于模型训练问题

[weiyideniangao (年糕)]

整个单位的AI大模型数据 积累 及应用 包括 所有人的联系回复 所有人的 技术回答 包括报价 能否集合在一起使用？

目前考虑的是 本地部署 FastGPT + 本地语言模型 + 知识库
那么问题来了：
1、我该向上面申请什么配置的训练主机？
2、本地语言模型如何搭建？
3、知识库…怎么搭建？怎么办？
4、各位给给意见吧！！！

求助！求助！求助！求助！求助！求助！

[D_Online (OceanWhispers)]

顶帖，等佬分享经验，我也学习一下

[weiyideniangao (年糕)]

QAQAQAQAQ

[weiyideniangao (年糕)]

别沉啊！！！

[weiyideniangao (年糕)]

我要@人了啊QAQ

[Chat (GPT)]

这个问题我可以回答一下

年前做过，需求差不多；

服务器大概下来8w，主要还是看实现方式。

我用的显卡是 A6000,3T硬盘，256内存。

实现方案是：Qwen1.5+Milvus+PostgreSQL+LangChain;
前端页面是自己设计实现的，不具备通用性。

[weiyideniangao (年糕)]

谢谢建议，我去看看。。。

[mofas]

0基础的话有点困难啊

可以参考楼上的方案，毕竟Qwen本身就是中文 文档也好读一点

[weiyideniangao (年糕)]

Firefly呢

[MatsuzakaSato (松坂砂糖)]

推荐加RWKV的QQ群问一下吧，那里人可能经验丰富些

325154699

[weiyideniangao (年糕)]

感谢，我还在找群号，一眨眼看到佬友发了，再次感谢 Thanks♪(･ω･)ﾉ

[iweec (Cyn)]

帮顶

[smartisan]

FastGpt知识库够用了把，只弄本单位的话，本地语言模型下载好包就行，反正有内网地址，到时候公开出去就好

[weiyideniangao (年糕)]

现阶段是这么打算的，部署也很方便

[weiyideniangao (年糕)]

已经解决了。
FastGPT+ollama
机子也买了，我配了好几套，最后选了这个最便宜的。

[mei]

出个教程？

[weiyideniangao (年糕)]

好的ヽ(￣▽￣)و

1、本地云服务器。
2、安装宝塔。
3、安装docker。
4、安装 FastGPT 和 Ollama。
5、完事。

[mei]

cpu和显卡的压力咋样。我也想布一台，但是没那么多预算。可能要砍硬件的配置

[linuxlove (fan)]

什么配置的主机取决于布署多大的模型，70B以上的模型，建议3090x4起步

[weiyideniangao (年糕)]

我的数据 只有20W多点。。。。这一套够…10人同时用的，满足我们公司的需求了。