手机端侧大模型7b/3b分享

资源荟萃
1

源项目

7b未测试：
https://github.com/CrystalIFDE/MLC-Binary-Libs
3b：

3b在8gen3上表现良好，能达到10+ tokens/s
为什么rwkv的3b在手机上表现比电脑上好很多，有佬知道么

这是上面的相关文章

https://zhuanlan.zhihu.com/p/653868662
https://juejin.cn/post/7265110591634456631

2 个赞
2

手机上都能跑大模型了？

4 个赞
3

电脑是arm吗？

4 个赞
4

对啊 现在手机性能足够了,mlc chat 苹果也有应用

5

电脑是x86 显卡多年前的1070
这是上面作者的图

image
image1080×2400 104 KB

7

皇上落后啦，哈哈哈 :rofl:

正好这几天兴趣来了在折腾，目前可用的小模型对中文都不太友好，而且参数太小，量化后不太够用，但是运行是没问题的，目前的旗舰手机都嘎嘎快

IMG_3291
IMG_32911179×2556 180 KB

IMG_3290
IMG_32901179×2556 326 KB

8

刚想弄一个玩，看你图片里的质量还是算了

4 个赞
9

fastllm这个项目倒是可以在手机上跑chatglm2-6b-int4

10

这是rwkv的3b，这个llama的7b咋这么傻……

image
image408×896 75.2 KB

11

有一个国内开源的看着效果不错，但是ios端还要最新xcode才能编译，我还没用上

你有环境的话可以试试，目前安卓端甚至还支持多模态

https://github.com/OpenBMB/MiniCPM

12

量化的多了，q3 q4还没测试，先下的最小的尝鲜 :smiling_face_with_tear:

13

可以试试这个 https://ai-chatgpt.eu.org/archives/zai-shou-ji-shang-yun-xing-chatglm2-6b-int4