他们不仅将以往开源厂会开源的帮助大家更快、更好、更省成本地推理他们模型的代码开源了 GitHub - MoonshotAI/FlashKDA: FlashKDA: high-performance Kimi Delta Attention kernels · GitHub
也将一个通用的 MoE 优化方法开源了 GitHub - MoonshotAI/MoonEP: MoonEP: A Perfectly Balanced Expert Parallelism Library via Dynamic Redundant Experts · GitHub
而且将他们用来做 RL 训练的 Agent 集群也给开源了!
相信自己写过 agent 的佬友们已经对这个东西好奇很久了。它不单单是现在的大模型公司们训练效率的秘方,而且是提供 agent 云服务、企业私有化部署 agent 集群的必要基础设施。
由清华 kvcache 团队合作研发,之前大火的 KTransformers 低显存单卡运行千亿参数模型也是他们的作品。
《当LLM学会后,我们开源了背后的基础设施》
