想在服务器部署开源模型

[Joncloud (大将军蒙毅)]

万能的佬友们，我想部署一个开源模型到自己的服务器。配置如下图的小鸡。不知道能跑啥模型，有佬给推荐下吗？All Mighty Fellows, I want to deploy an open source model to my own server. The configuration is as below chick. I don’t know what model I can run, can you recommend?

[zzq]

真不建议……用cpu跑太慢了，内存也不太够用。
非要说的话，你可以试试 qwen2.5 1.5b 或gemma 2b

[Maureen (U•ェ•*U)]

没显卡跑个啥？

[ziling]

建议用硅基流动

[do.linux]

不如嫖一个腾讯云的GPU服务器。
跑llama3

[Bee]

想多了，没gpu怎么跑，有了gpu你成本高了不如直接买 api

[kingd (ks)]

本地不太建议，性能要求很高，而且能力目前不太好，不如直接硅基流动，目前免费。

[LMDUzMm4]

Gemma 2B

[povvoq (Milo)]

顶多跑跑3B的模型，但是CPU跑要卡好久才能回答问题，不太建议。

[cnm]

openbmb/MiniCPM-2B-dpo-int4
openbmb/MiniCPM-S-1B-sft
实际上很不建议