不懂就问，佬们什么场景下用 Ollama 跑本地模型

搞七捻三
, ,
1

不考虑隐私问题

追求速度？免费？
还是只是单纯想折腾折腾

2

ghs 时候

7 个赞
3

哈哈哈哈哈哈

4

自己用的时候

生产环境用会有各种各样问题

这个工具就是偏测试、体验性质的

5

思路突然打开了

6

我这么实诚的老实人已经不多了 :rofl:

7

没问题的 :rofl:

8

哈哈哈，会玩

9

早期都在猫娘魅魔

10

只有手机部署大模型的时候用ollama，其他都是vllm。

11

我需要调试一个楼控软件的AI监、控系统，并且有些节点不能对外透露，用Ollama跑一跑，效果还挺好，Qwen2.5 7.6B

12

那不直接porn系列就可以了

13

缺少点背德感 不知道你能不能 get 到

14

部署好像vllm要多一点

15

今天正好本地部署了个ollama+deepseek r1 7b m2+16g 15token /s太感人了 1.5b稍微快点25token/s 1.5b智商不高 7b跑久了电脑都热了 内存占用倒是不大 就是速度不够智商不够

16

大佬 细说 ，怎么换脸 :face_with_peeking_eye:

17

Ollama 部署方便简单，一般自己用，测试用，生产环境就算了，性能太差，生产环境用 SGLang，vLLM

18

NSFW的时候

19

换脸有现成工具的呀 我就不推荐了 我怕我号没了

20

开发场景用非常方便