求助各位佬友,如何本地化部署AI?

我想本地化部署AI,当个外置大脑,需要啥电脑配置呀,目前哪个模型比较适合呀?

外置大脑不需要本地部署 AI,直接 API

1 个赞

本地部署最划算模型就是千问27b,需要一张显存大于27g的显卡,最简单的部署方式是下载软件ollama一键启用

1 个赞

会不会信息泄露呀,我还想着啥都给它说说,培养培养

我记得GitHub上有很多项目可以看自己的电脑能本地部署哪些模型,Ollama算一个

但其实本地部署的模型性能不知道够不够你使用

没事,其实个人那些兴趣和爱好没那么重要,你本地部署个 20 token/s 吐消息图的不急么…

不用瞎折腾

你看看你电脑的配置 问问ai看看配置能支持哪些模型 然后再部署

怕隐私泄露可以看看privatemode.ai,每月免费1M。不写代码应该差不多

先说你的配置吧,内存大的话可以试试最近比较火的 strata 部署的 qwen3.8 flash next