重磅发现：国产显卡也能跑Ollama了！

开发调优
, , , ,
1

1069×1161 106 KB

Docker一键安装命令

docker run -d --restart=always -v ollama:/root/.ollama -p 11434:11434 --name ollama mthreads/ollama

不过玩Ollama得提前安装MTT S80/S3000/S4000最新驱动和MT Container Toolkit，相应的链接我也贴在下方

MUSA SDK下载

MT CloudNative Toolkits下载

要想玩的舒服，肯定还得是用我们的老朋友Open WebUI了，不过在配置Ollama的API时可要注意了，WSL1可以直接填http://127.0.0.1:11434，但WSL2不一样，填的应该是http://host.docker.internal:11434。不过你要是玩得更高级一点，想随时随地使用本地部署的大模型，还可以把本地Ollama的API通过Cloudflare Tunnel内网穿透出去，接入在抱脸部署的Open WebUI也是可以的。

11 Likes
2

这是什么卡？

1 Like
3

摩尔线程MTT-S80

1 Like
4

摩尔线程

5

摩尔线程，国产显卡，堆的料能有3060水平，但是驱动差太多了，实际玩游戏啥的只有1060水平。不过非游戏场景应该是能发挥出来他堆料的作用的

2 Likes
6

跑Qwen2.5 7B实测10Tokens/s，没完全跑出来，还有待优化

7

你有这种卡？

8

当时是入坑了:tieba_087:

1 Like
10

大佬爱国实锤，不过这卡倒也便宜，相对的。

11

想起来之前黑神话刚出来的时候这家的显卡都没法玩，过了几个月驱动更新了才勉强能运行

12

是走cuda转译功能，还是原生呢？

13

现在英特尔的卡也便宜是不是买个那个跑也行
摩尔的还得等啊，摩尔加油(•̀ᴗ•́)و̑̑

14

效率如何？

15

Ollama用cpu都能跑啊，主要是效率不同

16

有点乳摩尔了，去年国庆我入手的时候就是1650的水平了
s80最神秘的地方是走的cpu供电

17

主要是上游 llama.cpp支持了摩尔线程的GPU加速，很厉害。
另外llama.cpp也支持华为的NPU，不过个人用户应该搞不太到

18

可以研究研究了

19

原生的吧！毕竟到现在还搞转译的话，那公司肯定要被英伟达起诉到破产了

20

大概是半自动化迁移
https://blog.mthreads.com/blog/musa/2024-05-28-使用musify对代码进行平台迁移/

21

哇噻，可以诶