过年deepseek的话题不断，这不年后，老板就找过来，让出个方案，怎么让公司也利用AI应用加快工作效率。
但是我作为IT人，在老板不想整太多预算的情况下，肯定是偏向让用户自己去各大网站直接使用了，做的方案如下
但是又要求1个月后，还是想要弄个公司内部能使用的AI，只是现在AI大模型更新迭代太快了，比如deepseek V3 和 deepseek R1 也就相差一个月。而且部署deepseek V3后，也没看到能迭代升级到 R1的案例。。。
这样就有一个问题，如果无法正常迭代升级，那之前训练的公司内部数据不是就无效了吗，以后升级系统就得重来？
20w 应该不够部署 671B 给多人用
20w不够的，多加个0差不多
搪塞一下就好了 老板可能是一时的想法 没考虑太多的
写多了，怕惊着老板。实际上目前公司真正要用，适合调用外部API方式了，只是不适合训练公司内部数据，和用户到其他网站上直接免费使用没啥差别
我的建议是先做应用出来，先不要自行部署大模型，要是能够通过 API 加 RAG 的方式能够实现功能，能看的过去，再来考虑实现本地部署
买 API 吧，自己部署的话，如果公司人数不够多（使用次数不足），纯亏本
有内部数据出新模型了再训一下应该很快的。不过20万只能搞小模型
V3 和 R1 不是迭代关系啊。在基础模型上训练的模型不方便迭代，这个模型属于专属模型了。如果切换基础模型需要蒸馏。一般公司内部数据使用知识库形式附加提示。
发一张三色图给你们老板
加钱居士
r1不是v3的迭代升级
弄成知识库就行了
你不老实写成本回头你老板就让你二十万部署个满血出来
想请教一下，API+RAG具体有什么方案吗？ GPTS？
只能这样
用外部API，加内部知识库
结合清华的方案可以单人 6-13 tokens/s 推理，倒也不是不行 
信息安全等级要求高么
如果公司规模不大的话，感觉买API要划算一些
直接弄第三方吧…
感觉直接用第三方会好一点
