部署的1.5b，然后问了一下经典问题，答出来正确答案了，可惜在骁龙8+处理器上只能说勉强运行，不过当小玩具玩玩还是可以的
28 个赞
啥app，我想用8gen3试试看 
最近可能会发一个安卓部署教程的帖子，到时候一起贴上去
1 个赞
你部署的这个是多大的模型啊？
1.5b的
2 个赞
哦莫，安卓都可以启动
原来有人先发教程了 
我是用二进制文件直接运行的
1 个赞
没事，不影响你发，方式不同
这么强啊
一看就是个强佬
还是算了吧，我这个是扔容器上跑的，和他这个不一样（因为刚好有安装了容器），性能损耗比较严重
他这个基本原生运行，所以性能损耗比较低
有没有直接上apk的版本？记得新的都带有NPU部分的
XiaoMi/StableDiffusionOnDevice: 本项目是一个通过文字生成图片的项目，基于开源模型Stable Diffusion V1.5生成可以在手机的CPU和NPU上运行的模型，包括其配套的模型运行框架。
虽然说NPU的INT8量化也很……
这玩意是不是都是纯靠cpu的 可以调用手机的npu加速吗
mlc-ai/mlc-llm: Universal LLM Deployment Engine with ML Compilation
mlc-ai/binary-mlc-llm-libs
哦豁，还是没有看见我的NPU……
有点好奇生成速度怎么样
直接看readme吧
| Device | Platform | Processing Unit | Units of Memory | Model Size(GB) | Memory Request(GB) | Image Resolution | Inference Time(s) |
|---|---|---|---|---|---|---|---|
| Xiaomi 13/Pro | 8Gen2 | NPU | INT8 | 1.10 | 1.5 | 512 | 9.4 |
| XiaoMi 14/Pro | 8Gen3 | NPU | INT8 | 1.10 | 1.5 | 512 | 4.6 |
| Xiaomi 13/Pro | 8Gen2 | CPU | FLOAT16 | 1.93 | 12 | 256 | 134 |
| XiaoMi 14/Pro | 8Gen3 | CPU | FLOAT16 | 1.93 | 12 | 256 | 103 |
On Snapdragon X Elite, the 45 TOPS of the Hexagon NPU is significantly higher than the
number of TOPS on the NPUs of competitors’ latest X86 chips
Snapdragon X Plus is powering the next generation of AI PCs. It is equipped with the industry-leading Qualcomm® AI Engine (CPU, GPU, NPU) that features a premium integrated Qualcomm® Hexagon™ NPU. The NPU delivers 45 TOPS, enabling cutting-edge artificial intelligence (AI) on-device and massive power savings. It supports intuitive AI productivity tools, advanced camera and audio features, and many other AI accelerated applications and experiences that make usage possibilities endless.
AI Dominates Qualcomm Snapdragon Summit With New Snapdragon Products
这篇文章指出8gen3也是45TOPS的NPU……
mark
牛逼了。
佬的手机多少内存的