端侧多模态开源模型 MiniCPM-Llama3-V 2.5

[wren]

GitHub - OpenBMB/MiniCPM-V: MiniCPM-V 2.6: A GPT-4V Level MLLM for Single...

刚看到一篇文章介绍此模型。
原文 一夜掀翻 GPT-4V 的国产「小钢炮」，可能会是华为小米们对抗 AI iPhone 的关键武器 | 爱范儿

MiniCPM-Llama3-V 2.5 之类的端侧模型用实力证明了——模型不是只有「参数越大才能性能越好」，而是可以用最小参数撬动最强性能！

官方demo:
MiniCPM-Llama3-V 2.5

既然开源,下午本地跑一个看看。

[wren]

额 看到没提供.gguf 文件, 只有.safetensors

[handsome (大帅哥)]

感谢分享

[Displease3121 (System)]

可以在安卓机上跑，越来越有盼头了

[wren]

期待小模型在端侧绽放美丽.

[xico]

连我男神都不认识，真是受不鸟了

[wren]

还是GPT 香啊

也不能算,毕竟这是联网查询到的.

[Keyman]

请问.gguf文件有啥用？.safetensors好像我记得也是SD里面的模型后缀名

[CN_Free (Freeforg)]

牛佬

[rhine]

试了下，很惊艳

[_y1 (赵子龙)]

很棒很好用

[wren]

ollama import 可以本地创建模型。

[cmkq]

手机端

多模态

等了10分钟 / 8gen3

普通聊天 / 速度理想

[wren]

额 我没android设备.

[cmkq]

好了 效果还不错 只是推理很慢 手机性能跟不上了

[takatorury]

这什么情况

[takatorury]

这个现在是用我手机算的吗

[wren]

是安装了apk吗? 可以看看手机的监控数据 能看判断出来是不是本地吧.