目前手上的电脑是thinkbook 14+ 2024，想自己部署一个AI大模型，有以下要求：
1，可以用docker部署
2，可以自己进行微调
3，内存要求尽可能低一点
希望各位坛友推荐
5 个赞
rwkv，直接有windows启动程序，可以微调，用小模型内存占用就低
我想打包成docker镜像的，用wsl的docker部署
qwen2.5吧？
@rick 来给点意见 
ollama ，几乎任何机器都行
找个跑分高点的9b左右的模型就够了，gemma2 9b或者llama3.1 8b或者qwen2.5 7b，qwen2.5 14b也可以试试。用ollama或者lm studio部署
现在部署模型，不用显卡了吗？
1 个赞
我也在想 怎么没人说显卡？
可能是调用api部署？
外接显卡嘛？
像ollama这个已经不用显卡了，16gbRAM就行
内存占用呢？我想用wsl部署，但是wsl我限制了内存的
搞一个小的，不用显卡吧
主要是想要个低占用的
用 win跑docker 就是一个坑。
ollama直接安装运行， openwebui 用python虚拟环境运行。
之前就是用ollama，但是现在需要一些微调，wsl勉强顶住就行
学到了，有时间试试。
去年我部署过glm还得用gpu，没想到技术进展这么快
llama3
文字/对话模型随便部署，没显卡跑得慢点而已。画图没显卡是真的不行