自建本地对话大模型,到底费什么硬件?

网上说什么7B要多少内存,13B要多少内存,只字未提cpu
我的测试是树莓派4B,8G内存
下载了llama3 7B,提问后通过htop查看
发现内存使用4G不到,硬盘灯也不闪,倒是cpu100%了
请问这是个什么原因呢?请求大神回复为盼

3 Likes

要显卡,内存要求一般是显存

3 Likes

我看的教程都是没有显卡的教程,然后提示需要内存多大
内存和显存区别很大的,网上这个样的词语应该不会弄混淆吧

1 Like

显存,内存打不过显存的

1 Like

因为大家一般默认x86了,x86的cpu可不是树莓派能碰瓷的
arm至少得用3588 比较快

1 Like

说的应该是显存吧

1 Like

树莓派CPU跑7B模型……

常规话题快问快答

4 Likes

费电费么

都是大显存的显卡跑的,再就是intel为了宣传自己的ultra处理器有个简易的对话模型。你这树莓派的算力还没现在旗舰手机高吧

用内存的话,如果内存不够模型完整载入每次对话都需要不断从硬盘读取模型,这个会很慢

显卡用来加速推理提升并发访问,一般就是吃内存加载模型 和 cpu 进行协同处理,自己玩单机没显卡都可能跑,内存拉上去。

你要先看你是用什么方式去跑的大模型, llama.cpp这些是可以只吃CPU给你跑起来的,但性能相对弱些,如果是原生跑起来,还是很吃GPU的。

苹果这种统一内存就说得过 只讨论内存的情况

cpu计算能力毕竟不如gpu

有的CPU,有的GPU,好像看模型

我用树莓派跑llama7B模型,内存只占用2G左右,cpu4核全部100%,差不多5分钟以内能回答一条问题

显卡显存

树莓派跑这个能行吗

因为你这是用cpu在跑,正常应该是用GPU,跑cpu只能说能跑,而且还需要模型支持才行