设备是Mate70 Pro，鸿蒙6.0.0.130，完全本地部署千问2.5 0.5b参数模型。使用llama.cpp作为后端推理模块。
破案了，我没开SIMD指令并行处理，开了之后能跑到50多token/s，CPU基本上能吃满，就是NPU不知道在干嘛，如何才能调用
设备是Mate70 Pro，鸿蒙6.0.0.130，完全本地部署千问2.5 0.5b参数模型。使用llama.cpp作为后端推理模块。
破案了，我没开SIMD指令并行处理，开了之后能跑到50多token/s，CPU基本上能吃满，就是NPU不知道在干嘛，如何才能调用
14 Likes
只能说一秒一token不卡, 二token流畅
3 Likes
50个还是可以啊。
1 Like
破案了，没开优化，我说9030干这个不说轻轻松松但是应该也没太大压力吧 
6 Likes
佬，部署0.5B模型的作用是 
没作用，为了证明它能
也很强了，需要什么硬件资源吗？手机端部署最终是形成了一个什么文件
可以在无聊的时候和它瞎扯 
目前是证明了：
- 纯血鸿蒙可以跑大语言模型（这是我们去年华为揭榜挂帅竞赛的方向），目前还在继续探索极限
- 麒麟芯片性能还不错，毕竟是跑在手机端上的芯片，性能调度做的也不错
还在探索极限，打算整理一下在国产替代区写一篇文章
手机端使用的是gguf格式的模型文件，还在研究怎么转化成鸿蒙专用的om格式文件
5 Likes
太厉害了佬，仰望佬
这样手机就是ai智能手机了吗。能做啥东西啊
应该不算，我在mate70 Pro上测千问3.5 2B可以到达10token/s，但是Nova 12Pro上只能有1Token/s，对硬件要求还挺高的。不过我感觉跑点简单对隐私要求强的（比如日程管理之类的）应该还不错？
wow，看起来不错啊~继续努力~
我是mate x6应该也能跑跑吧