各位大佬，有没有本地部署大模型的教程

开发调优
1

看论坛里面都是各种API的教程，有没有直接把模型下载下来本地跑的教程？

2 个赞
2

从 常规话题 到 快问快答

3

这不就是ollama么

4

最近尝试了下，然后总结了下大概是这样玩:
ollama 相当于docker，
llama2 相当于一个基础实例，
anythingllm 可以投喂自己的本地资料，基于基础实例，构建自己的模型。
通过ollama 安装 开源模型， 然后通过anythingllm, 构建自己的本地模型。

2 个赞
5

很多开源的。
如果用知识库，可以考虑xinference，如果不考虑知识库，只是想用用，那就ollama。ollama的embedding，没有兼容openai的格式

6

首先…需要块好显卡

7

推荐RWKV的一些生态，有些GUI程序支持chatglm，也支持openai的API

1 个赞
8

ollama ?不过效果还是不大行

9

缺显卡

10

能不能用cpu跑

11

去看看 gpt4all

12

大佬，如果用LM Studio跑gguf量化模型的话，可以用anythingllm吗

13

我试过，是可以的，网上有教程，自己搜下

14

3分钟，拥有你的本地大模型-Ollama！【Windows篇小白向】 - 常规话题 / 人工智能 - LINUX DO

15

ollama、llamafile、llama.cpp

16
17

论坛有ollama教程

18

ollama这个好像可以刚刚试了，没成功，主要不是自己的电脑

19

。。。6

1 个赞
20

From 快问快答 to 开发调优