一起来下 AI 暴论

最近在和朋友近乎疯狂的各种聊 AI,又见 Apple Silicon 无与伦比的优势(Arm + 统一内存)

就有了以下暴论:

或许还有统一内存的重要性(未来老黄舍得给显存的情况除外)

另有:目前看来GPU做AI基本快到头了

真正的NPU即将诞生了,正如GPU为图形计算应运而生一样

我觉得端侧部署能力是有限的,云服务提供ai还是主流。这种假设下是否节能应该没那么重要。另外感觉现在ai发展已经快到瓶颈了,各家都停滞不前,难有突破,不好说之后能否继续以当前的速度发展ai

简言之就是谨慎乐观

1 Like

我的意思是如果还想现在一样力大砖飞,如果芯片制造速度跟得上,那以目前的制程来看,电力会成为第一个限制因素

或者说,如果各家都停滞不前了,那么力大砖飞和加大部署就成为了必需要素,这时候电力就会成为一大制约要素,彼时 Arm 的功耗就会成为决定性因素

现在来看M系列芯片,只是在家用和自己折腾的时候发挥优势

但是未来呢?

目前根据大家的折腾,结果来看六台顶配的 M4 Pro Mac Mini 就可以跑 R1,且功耗可以控制在大概100W~200W 左右,如果用的是 M4 Max,在 MLX 框架下性能并不赖,最重要的是极强的能耗比,如果是数据中心,一年在电力上的开支可以减少相当多,且更不易触及电力这个制约条件

NPU是当前优化的最优解吧…(PPT也很好看的
之前有新一代模拟芯片,但是给打趴下了
arm也不完全是低能高效吧…优化也很重要,可能新出的针对架构专门设计的芯片效能很好(但是通用和高效之间需要取舍…

确实,这回到了当时 GPU 发明的时候,最早的时候 CPU 渲染图形,太慢,就有了 GPU

这次轮回到了 NPU,必然是巨大商机,也许也是未来

目前NPU是巨坑 :bili_017:要用人来填
不过填坑的由于没有薪资参考,应该能拿到不错的

有些 NPU 已经在发力了,但缺口很大

Apple M系列芯片应该算作SOC的优势(集成度) :bili_040:

目前模型在从 Dense 往 MoE 发展,那算力的优先级其实是降低了一级的,这时候的决定性因素就来到了内存,而这也是苹果统一内存的 Glow Time

可惜傲腾坟头三尺高
rocket chip有在发力了,全zhi不开源

我觉得很有可能

之后应该会按照功能分开:

  1. 本地模型可以用来生成定制化的数据集,利用M芯片的优势,低能耗
  2. 云端NPU主机,用来训练模型和微调
  3. 云端API服务,但是只是作为AI运行的基床,方便用户部署自己的AI服务,7*24,容灾等

关注一下