ollama本地部署了deepseek r1

开发调优
22

需要多大显存？

23

同问，需要多大显存 :tieba_087:

24

更大会预先占用更大的内存……

25

本地M1 PRO 32G，跑14b还算流畅，33b就不行了

26

不错呀。佬友很强

27

别想了，32b的也打不过3.5的， 还是量化版的，更不可能

28

32B量化用着比3.5略好一点
但远不如4o

29

实际用下，并不差

30

我的无独显，也能用ollama跑个r1的7b，速度还可以，就是感觉不够聪明

image
image1412×369 22.7 KB

31

32b就能比3.5略好了么？ 不太可能吧。
是详细测试的？ 还是简单问了这问题

32

在文本提取， 格式化输出， 文本分类等领域都理想吗？

我记得上一代v2是不理想的

33

Phi-4 是 14B 的模型，能跑只是卡，那跑个 7B 的应该没问题

34

我部署了32b fp16的版本，跑酒馆时还是有点问题，不过也有一些比较抽象的回答

35

简单问几个问题，中文问答上略好一点，主要是和记忆中的初版chatgpt3.5比的。

现在基本都是用4o mini吧，跟这个比还是有不小差距的。

36

M2Pro+16GRAM，跑14b，拉满:u6e80:

37

我4070跑14b感觉太勉强了

38

用4060跑的14b，速度是慢了点，但是胜在能跑，显存占满了还会去借用内存，只要不使用虚拟内存应该都还行。

39

Ollam 默认上下文是 2048
image

40

部署了R1：14b，刚刚开始显存占用8G的样子。随着接入的人多一些，几十个人，就出现显存占用增加，最终占用超16G。这就不好了。为何会增加占用这么多，回答问题的时候，还会增加占用显存这么多。大家是否这样？有解决办法吗？至少不让显存爆满而挂掉。

41

你是什么配置跑的