🚀部署了一个 Llama3 欢迎大家来玩！【Meta 最新 Llama 3 8B 和 70B模型 】

[do2 (疯狂驴驴)]

一键直达 Llama3

Llama3 8B 版本，感觉还不错，不过肯定离那些更大的模型还有距离，毕竟权重才4G(量化版)多一点，能在个人电脑上部署简直是非常大的飞跃。

正在下载70B的权重，不确定能否跑起来

最新，已上70B ！！！ 70B的回复有点慢，直接变成猪猪 非常好玩

[handsome (大帅哥)]

感谢！

[pixu (pixiu)]

Error1033

[Kakaka]

报错了

[olddriver]

用什么工具跑的？

[do2 (疯狂驴驴)]

@pixu
@Kakaka

刚刚掉线了，现在应该可以了

[do2 (疯狂驴驴)]

ollama + ollama-webui

[zone (zzzz)]

佬友服务器配置怎么样，我也想整一个

[LeavePlaceByGod (上帝遗弃的角落)]

支持一下 部署不易

[gsnqazwsx (看今朝)]

期待你的70

[YoungChany]

支持一下

[ymg2007 (ymg)]

我擦，用了一下感觉不错啊

[wuming (wm（大帅哥饲主版）)]

感觉还不错啊，3060ti可以部署吗，大佬

[wuming (wm（大帅哥饲主版）)]

我想微调一个拉取当角色扮演的npc

[Mamba_out (摊手者)]

8b的好像需要显存不多，我macmini16g的跑了个4bit的量化内存还没跳红

[wuming (wm（大帅哥饲主版）)]

微调够吗

[wuming (wm（大帅哥饲主版）)]

不够就只能花钱租点算力了，有大佬推荐吗

[bbb]

速度挺快

[Mamba_out (摊手者)]

不太懂，估计不够吧，没试过

[wuming (wm（大帅哥饲主版）)]

我看一个群友4090调14b，高了调不了