如何本地部署DeepSeek-r1模型训练自己的大模型

开发调优
,
1

关于本地部署DeepSeek-r1模型进行定制化训练的问题，想请教一些技术细节。我们公司计划开发一套智能问答系统，主要用于内部业务指南的自动化处理。考虑到数据安全性和定制化需求，我们希望在本地环境部署DeepSeek-r1模型。

具体而言，我们有以下疑问：

  1. 通过向模型提供高质量的领域特定数据，是否能够有效训练出符合公司业务需求的定制化模型？
  2. 在训练过程中所使用的技术是什么？

我们计划使用公司积累的高质量业务文档和知识库作为训练数据，期望最终模型能够准确理解和回答与公司业务相关的问题。

感谢各位大佬的宝贵时间和建议！

9 个赞
4

蹲一个答案

5

我也有同样的疑问

6

建议基于DeepSeek-R1构建RAG，尽量不要训练

2 个赞
7

同蹲一个答案

8

就我的理解 部署现有的模型不能训练 训练模型是另外一个方面可以搜搜
其他参考如下

9

这就是知识库的使用场景 我的感觉是搭建知识库不需要用推理模型，我用deepseek V3 跑出来效果不错 ，私有部署可能搞个千问的72b模型就够用

10

微调满血版的成本很高吧

11

不会用到 671b ，只是 14b 或者 32b 这种能回答一些基本问题的，然后也能结合我们公司的业务知识

12

求解，如果是知识库的需求，使用deepseek v3模型部署之后，怎么去喂模型知识呢，

13

搜索关键词：RAG

1 个赞
14

V3私有部署成本可不是一点半点的 A100那样的计算卡没个十张八张的怕是不行
你先用fastgpt或者dify搭配硅基的API玩玩吧

15

这个问题问过deepseek，回答基本上说是难度非常高，最多是有这方面专业人员可以对模型做微调，最简单还是rag之类的。

16

我找到了一个开源项目貌似能解决我的问题，使用从外部知识库检索相关信息来辅助大语言模型生成更准确、更丰富的文本内容

1 个赞
17

推理好像不用，堆个8台64G M4 pro mini就能起飞。

18

这能搞到一起吗

19

研究一下,怎么样

20

在测试了

21

可以的，这个也支持deepseek了

22

可以，m4 pro 都是雷电5，带宽贼高。用EXO项目可以分布式部署。GitHub - exo-explore/exo: Run your own AI cluster at home with everyday devices 📱💻 🖥️⌚
基本上模型都可以部署。还可以叠更多。比如几台192G的 m2 ultra。