【分享】一个可以手机端部署本地大模型的项目

先上项目链接:

可以看到该项目支持大模型多平台多端部署,可玩性很强。

他还有几个其他项目,也都是与大模型相关的,可玩性很高,甚至有web端的。

有大佬使用后,可以发一下使用感受,供大家参考一下。

6 个赞

我下载过,没成功,无法对话

手机吃得消吗

本身的模型很少,8gen2的处理器16g内存运行很吃内存,输出速度稍慢。b站上有大佬用这个部署了qwen1.5 和llama3 8b的,而且给出了安装包,有兴趣的可以玩玩。手机安装Meta最新开源的Llama3大语言模型(无需联网)_哔哩哔哩_bilibili


那手机厂商的内存扩展有效吗