LiquidAI首次发布模型 LFM-40B MOE

融资4000万美金的LiquidAI首次发布模型。

LFMs 种从第一原则构建的非Transformer模型,包括1B、3B 和 40B三个版本。

两个小模型在各个维度的测试分数都碾压其他同规模模型。

在内存占用和推理效率上表现非常出色:

即使是40B的MoE模型在相同硬件下推理速度也非常快。
在处理长内容输入的极限条件下,比现有Transformer模型的内存占用低非常多。

这个1B和3B小模型看起来甚至比苹果的更适合在端侧部署。

模型详细介绍:Liquid Foundation Models: Our First Series of Generative AI Models
试用模型:https://labs.perplexity.ai
https://playground.liquid.ai/

5 Likes

好像不怎么出名啊。

1 Like

确实,没啥名气

用着感觉一般

感觉不如llama 3.1

https://playground.liquid.ai/login

這邊可以試,免費的。

但他脾氣很硬。

建议添加标签 前沿快讯!

40B感觉甚至不如千问2.5 32b :joy:

我感觉甚至不如14b :joy: 至少中文领域

激活参数12b打不过32b正常。看moe不能只看总参数有20b水平就很好了,再加上非中文模型

感觉一般的很啊