一般来说自己能搭建的不都是比较弱的模型吗？我知道自己本地搭建能速度快,不限量。但是模型不好用的话要这些也没用啊。
但是存在即合理。
希望有大佬给我科普一下知识。
主要是可以离线用，部分保密单位只能用离线的
本地部署的模型没有内容审查。
就安全，没有任何审核 
啊,这种单位不算咱们个人了吧。有这种需求的单位,还不直接自己搞一个
不用联网，可以自部署
还有好像有些模型的翻译的效果不错，可以省点api的钱
还有就是没有安全审核，自己爱怎么玩怎么玩
对于个人几乎没用，审查是可以绕过的
弄个弱智女友是吧？
比如构建公司自己的知识库就很适合，资料不能外漏
1 个赞
啊,这个有道理
基于function call 软件ui可以交付为纯chat 页面+advice 逼格立马飞起
不明觉厉
不限于 Ollama，只要是自部署推理引擎的优势，无外乎是，第一，私密性，第二，跑的是自己训练或微调的模型。最大的缺点是，需要投入，硬件也是不便宜的啊，越大的模型需要的算力越高
cui比gui高效，但是cui门槛很高，有llm就可以交付cui了，你可以认为是螺旋式上升
deepseekv3需要什么配置啊？个人能跑吗？
我昨天刚买了个新机，用Docker搭了OpenWebUI+Ollama，主要调试一些内部涉密的内容，还是挺好用，不会外泄机密
大佬自己搭建的什么模型？好用吗？
个人也不是不能跑
之前不是出了
8台 M4 Pro 64GB Mac Mini 集群（总内存512GB）上运行DeepSeek v3（671B）
1 个赞
打扰了 打扰了 是我冒犯了
虽然 Deepseek V3 是 MoE 架构，激活参数只要 37B，但据说，想好好跑起来，大概至少需要 200G 左右的显存(SGLang 推荐配置是 8 * H200，有点过了
)，简单点的话，顶配(192GB)的 Mac Studio 应该可以，当然，最好等 M4 Ultra 出来，现在的 M2 Ultra 还差点。
当然，这个模型有点大，我也没有经验