我记得比较传统的定义是像深度求索的那个定为小模型
，但是现在小模型基本都变得更小了，我们是否要把它叫做中等模型
以后叫做大模型、中等模型、小模型
一个 T 左右的叫做大模型
。
一半儿或者只有1/3的叫做中等模型。
其他的更小的叫做小模型
2 Likes
模型大小是相对的吧 
其实叫大模型，不是因为 LLM 全称是“大语言模型”吗？和参数大小没什么关系
3 Likes
我觉得，家用单卡，5090以下能部署的就算小模型，需要多卡集群的，就算大模型
1 Like
像深度求索那个，大家习惯性地管一个叫大模型，一个叫小模型。但是现在小模型已经变成中模型了，因为整体上来讲，模型的参数在不断变大
1 Like
其实我们管小模型是指vgg，resnet这种体量的，而且大模型是指大语言模型，flash，pro之所以分大小只是为了方便区分，模型体量没有最大，只有更大，随便再加几个通道就能继续涨
以后可能是 1T 叫小模型了 这个肯定是不断变化的
我感觉模型的上限也就到t这个级别了。因为传统互联网的优质语料也就在9万到100,000亿左右吧。感觉已经快被消耗完了。再怎么堆参数量也不可能到百t那个级别，除非你说是互相蒸馏，然后AI训练AI那种。嗯左脚踩右脚也不可能升天吧。
gpt 是大杯，那dsf 就是中杯， qwen就是小杯，各差一个数量级吧
LLM 是大模型，然后用pro flash lite 来做不同区分。
没有必要，你永远无法量化何为大小模型
倒是有 SLM 用来称呼 10B 以下的迷你 LLM