有没有朋友搞过开源的大模型

开发调优
,
1

有没有朋友搞过开源大模型在本地部署，想玩一下但是不知道从哪开始，如果有大佬请推荐个攻略看看

9 个赞
2

看看ollama?

4 个赞
3

跟着文档，just do it.

4 个赞
4

你本地是什么配置呢?如果30/40系8g显存以上,可以一键部署英伟达的本地模型,是个 LLaMa 2 13B 小模型,只有30多g
网址 : NVIDIA ChatRTX

3 个赞
5

如果你的网络环境很好,可以用 ollama
https://github.com/ollama/ollama

5 个赞
6

阿里开源的通义千问业挺好的

3 个赞
7

fastllm部署chatglm

3 个赞
8

现在论坛里都开始搞大模型啦 厉害:+1:

1 个赞
9

（非广告）
我建议你加入这个QQ群610599535，有一些大佬在里面讨论本地部署开源大模型

image

4 个赞
10

有一键使用的GPT4All
试过7b、13b的模型。显卡2070卡成狗
平均就个位数token/s

1 个赞
11

加油

5 个赞
12

第一步先看看什么量级的模型要什么级别的显卡

1 个赞
13

建议从 ChatGLM-3 开始（不要用计图，计图环境比这个难配置，除非你是渣 Linux 中鸡）

1 个赞
14

没有使用经验的话，直接上 https://ollama.com/ ，一个命令行+各种模型的整合。安装好主程序，直接 ollama run codellama 就在本地成功跑起一个类copilot的代码补全服务，这多爽

1 个赞
15

性能上，过于依赖电脑硬件性能（r7-7840h），具体表现上：

  • 小模型就是傻子
  • 大模型只问一句话回答很快，要是结合上下文就要等很久
1 个赞
16

我是4060 8g，能跑的模型效果连gpt3.5都比不上

1 个赞
17

通义千问废显存啊

1 个赞
18

从 人工智能 到 快问快答

19

ChatGLM3-6B 大概16G显存就够了；
Qwen的模型根据参数看，14B的就要块40G了；
可以本地跑一下ollama，要求不高。

20

可以