请教佬友们，关于 ollama 的。

开发调优
, ,
1

就是我有一台 MacBook Pro 主要是我的开发机器。我还有一台 Win 台式机。

  1. Mac 的配置是：M3 Max + 64G + 1T
  2. Win 的配置是：Ultra7 + 96G + 1T + 2T + 4T

我想部署一个本地的 Ollama 。我想部署在 Win 上，我应该怎么做？ 哪位佬给建议下？

补充一下 Windows 是 华硕 tuf 4080s 显卡

7 个赞
2

#快问快答添加

3

我倒是知道 Jetbrains 和 VSCode 可以用 Continue 作为插件，但 Zed 怎么搞？

1 个赞
4

在Windows下直接部署就行了啊

1 个赞
5

没gpu就别本地了

1 个赞
6

ollama可以用CPU的，速度还挺快的

7

是可以offload到cpu 但是你确定很快？

8

CPU都干到百分之九十几了，关键还是看你的配置。

9

他这芯片也不差啊，我i7-10代每秒10个token应该有，当然是7b模型，最新的llama3.3不是效果挺好的吗，兼具轻量化和性能

10

llama3.3是70b的 搞个4bit量化确实能玩玩 不过真没必要

11

那 mac 能远程用吗？

12

5.1.1 安装 Ollama

  1. 下载 Ollama：
  • 前往 Ollama 官方网站：https://ollama.com/
  • 根据您的操作系统，下载对应的安装包。
  1. 安装 Ollama：
  • 运行下载的安装包，按照提示完成安装。
  • 安装过程简单，无需特殊配置。

5.1.2 拉取 AI 模型（llama3.1）

  1. 打开命令提示符：
  • 按下 Win + R，输入 cmd，然后按回车，打开命令提示符。
  1. 拉取模型：
  • 在命令提示符中输入以下命令：
ollama pull llama3.1
  • 等待模型下载完成，可能需要几分钟，具体时间取决于您的网络速度。

注意：模型文件较大，请确保您的硬盘有足够的空间。

5.1.3 验证 Ollama 服务

  • 启动 Ollama 服务：
    • 通常，Ollama 会在安装后自动启动。如果未启动，请手动启动 Ollama。
  • 测试服务是否正常：
    • 在命令提示符中输入：
ollama list
  • 如果显示已安装的模型列表，说明 Ollama 运行正常。
13

有的，我的是4080s 显卡

14

你为啥不直接用mac安装呢，ollama也有mac版本

15

主要是 win 有显卡 哈哈哈哈

16

LM Studio这也是一个本地运行大模型的方案，配置要灵活一点。

image
image390×1116 35.2 KB

17

Mac显存一体，应该更厉害吧。

1 个赞
18

好像缺点是不开源

19

这东西用的时候会不会 cpu 起飞？ 如果是的话我还是放 win 好了，平常不打游戏的时候开着。

20

Mac技术过于先进，占用的只是你的硬盘空间而已，你的剩余内存全部可以当做显存来用，就凭这个可以甩Windows好几条街了。之前就有人用两台苹果笔记本跑4050亿参数的llama3.1 405B，换成是windows 10个4090显卡也跑不起来。