3分钟,拥有你的本地大模型-Ollama!【Windows篇小白向】

谁不想拥有一只自己的小羊驼呢 :stuck_out_tongue_winking_eye:

30秒跑起来!精简版

windows电脑!https://ollama.com 下载,安装
cmd运行ollama run qwen:14b
开始对话!

A.开始准备

B.安装运行

  • 1. 打开刚刚下载的Ollama安装包,直接Install
    (它会默认安装在C:\Users{你的电脑账户名}\AppData\Local\Programs\Ollama)
  • 2. 没错,直接完成,这时你可以在你的电脑任务栏右下角发现小羊驼。
    (当前,你还可以在你的开始菜单中找到它)
    image

    没问题的话,你现在可以进入CMD,使用ollama命令了!
    image

  • 3. 尝试使用 ollama run qwen:1.8b 跑一下千问1.8b模型吧~
    (他会自动下载,然后自动运行,没错,全自动,只要你把模型输入正确,如果你电脑还不错可以试一下qwen:14b或者更高)

    看到Send a massage,完成!开始享用吧,直接打字回车对话!
    image
    效果:

C.可能遇到的问题

  • 1. ollama命令无法使用?
    控制面板 → 搜:高级系统设置 → 环境变量 → Path – >新建
    C:\Users\{你的电脑账户名}\AppData\Local\Programs\Ollama

  • 2. 可以run的模型在哪找?
    这里:library 每个模型打开下面都有介绍!
    image

  • 3.如何查看我的GPU是否支持?
    请前往查看 :point_down:,N卡、A卡都可以的:
    ollama/docs/gpu.md at main · ollama/ollama · GitHub

  • 4.模型的存放位置能改吗,我C盘存不下!
    可以,请设置环境变量 OLLAMA_MODELS


下集预告:[ 7分钟,让你的Ollama本地大模型拥有UI - OpenWebUI【小白向】 ]


linux可以看这里 :point_down:

66 个赞

来了来了。已学习,期待下期。

17 个赞

去了去了。已经学会

4 个赞

期待Linux

2 个赞

windows最好环境变量改下模型的保存位置

2 个赞

垃圾电脑用 LM Studio+gguf 格式 一键玩,对新手友好,模型也都是软件可以搜索自己下,而且 7b都可以玩 主要要吃内存,16G显卡玩32b也很快。但是用惯chatgpt4了,本地模型还是差点意思。

5 个赞

嗯嗯,之后发进阶教学

3 个赞

学习下

2 个赞

已学,感谢教程

2 个赞

请问我的消费者级别的笔记本电脑可以跑吗?Intel(R) Core™ i5-7300HQ CPU @ 2.50GHz 2.50 GHz
16.0 GB 内存,一张1050Ti显卡 4G显存

2 个赞

感谢分享

2 个赞

可以的,比我测试用的这个机子强

3 个赞

这种本地模型的意义在哪儿呢?精确度不高

2 个赞

学废了!!!感谢

2 个赞

这个就看自己了,每个人的需求不同 目的不同,比如自己搞个来做翻译接口,或者重视信息安全采取私有化。
对于精准度,不同模型又是不一样的 ,70b肯定比14b要好,不同模型适应的语言又不同,各有千秋。

1 个赞

等下期

mark

来了来了。已学习,期待下期。

电脑拉跨

没有显卡很难受,cpu跑的都是一个字一个字蹦出来 :joy: