最近在和朋友近乎疯狂的各种聊 AI,又见 Apple Silicon 无与伦比的优势(Arm + 统一内存)
就有了以下暴论:
或许还有统一内存的重要性(未来老黄舍得给显存的情况除外)
另有:目前看来GPU做AI基本快到头了
真正的NPU即将诞生了,正如GPU为图形计算应运而生一样
最近在和朋友近乎疯狂的各种聊 AI,又见 Apple Silicon 无与伦比的优势(Arm + 统一内存)
就有了以下暴论:
或许还有统一内存的重要性(未来老黄舍得给显存的情况除外)
另有:目前看来GPU做AI基本快到头了
真正的NPU即将诞生了,正如GPU为图形计算应运而生一样
我觉得端侧部署能力是有限的,云服务提供ai还是主流。这种假设下是否节能应该没那么重要。另外感觉现在ai发展已经快到瓶颈了,各家都停滞不前,难有突破,不好说之后能否继续以当前的速度发展ai
简言之就是谨慎乐观
我的意思是如果还想现在一样力大砖飞,如果芯片制造速度跟得上,那以目前的制程来看,电力会成为第一个限制因素
或者说,如果各家都停滞不前了,那么力大砖飞和加大部署就成为了必需要素,这时候电力就会成为一大制约要素,彼时 Arm 的功耗就会成为决定性因素
现在来看M系列芯片,只是在家用和自己折腾的时候发挥优势
但是未来呢?
目前根据大家的折腾,结果来看六台顶配的 M4 Pro Mac Mini 就可以跑 R1,且功耗可以控制在大概100W~200W 左右,如果用的是 M4 Max,在 MLX 框架下性能并不赖,最重要的是极强的能耗比,如果是数据中心,一年在电力上的开支可以减少相当多,且更不易触及电力这个制约条件
NPU是当前优化的最优解吧…(PPT也很好看的
之前有新一代模拟芯片,但是给打趴下了
arm也不完全是低能高效吧…优化也很重要,可能新出的针对架构专门设计的芯片效能很好(但是通用和高效之间需要取舍…
确实,这回到了当时 GPU 发明的时候,最早的时候 CPU 渲染图形,太慢,就有了 GPU
这次轮回到了 NPU,必然是巨大商机,也许也是未来
目前NPU是巨坑 要用人来填
不过填坑的由于没有薪资参考,应该能拿到不错的
有些 NPU 已经在发力了,但缺口很大
Apple M系列芯片应该算作SOC的优势(集成度)
目前模型在从 Dense 往 MoE 发展,那算力的优先级其实是降低了一级的,这时候的决定性因素就来到了内存,而这也是苹果统一内存的 Glow Time
可惜傲腾坟头三尺高
rocket chip有在发力了,全zhi不开源
我觉得很有可能
之后应该会按照功能分开:
关注一下