早在去年4月的时候就折腾了Ollama还有对接OB
可能我的笔记没有那么多（300多个文档），不能体会到构建自己的知识库的需求
最近又看到很多人搞deepseek本地部署。抛开卖课和企业级本地知识库。
普通人还有必要去整这些本地模型吗？用量小的话线上成本也很低
大部分都拿来做啥呢？
8 个赞
个人用，有隐私需求的话需要本地部署，比如单位机密、密码、NSFW内容最好本地部署。
构建本地一般是讨厌动不动掉线和隐私考虑，而且构建RAG的话，说实话不是写相关说明文档，也用不到，基本都是不断积累。
1 个赞
说实话是没必要的，除非你有一些 需要避免审查 或者隐私的需求。
因为自己部署 避免不了
- 性价比低，硬件会汰换
- 并发低，排队现象严重
- token/ps 低
1 个赞
部署玩玩而已。一般个人部署后体验一下就行。模型更新的快，过一段时间又要更新其他模型。比较吃性能。API 香一点。本地除非有特殊需求。
我想到了前几天那个上传网盘，结果因为50+网警看了，算作传播色情被抓的
2 个赞
那看来知识库层面还是自己积累的不够多。
最近也是在考虑帮公司做RAG，发现数据量少真不如整合一下用MySQL查询了
是的，当初就是为了尝试本地部署，淘汰了1080，买了个4080s
发现确实快了不少，但是和云端相比完全没有优势。一度想要把这卡出掉
不明白那些本地部署70B的大佬都什么神仙机房
哈哈哈 我也是在本地部署玩的过程中引发了这个思考
所以更加看不明白DeepSeek本地部署热卖到底是个什么回事
总有种当年 9.9 Python教程的感觉
本地70B起码都是A100级别了
可能真的最终都是企业卡不是自家的吧 哈哈
企业的卡 要使劲薅
1 个赞
基本都是趁热度，引流赚钱。9.9 顶不住量大啊。
70b以下没啥用 核心就是体验来玩玩
那是上传的微博吧
我以前也一直这么觉得,参数越多越好用
但是逐渐发现一些特定领域 7b也可以, 像tab代码补全好像 Qwen 0.5b 都不错
也开始在想是不是本地也可以. 加上他们说的模型蒸馏,不知道是不是真的会效果不错
微博吗? 那可能我记错了 hhh
只记得是 只限自己看
真论赚钱,还是流量生意来的快. 虽然死的也快,但至少赚到了
数据量大肯定更聪明点 一般的可能没啥区别