看到有些中转站有蒸馏的分组,请问这个蒸馏是什么意思,破甲?

看到有些中转站有蒸馏的分组,请问这个蒸馏是什么意思,破甲?

如果不是破甲的话,这个蒸馏干啥用的呢?

给批量造数据用的便宜通道
有人要跑几十万条prompt收回答,拿去微调自己的小模型

你在某些平台上经常看到的那些各种微调过的qwen小模型,就是

你问爱因斯坦问题,把他的答案喂给你儿子,你儿子全记住了,他就是小爱因斯坦

我就是感觉到奇怪,他的蒸馏分组比普通的要贵,按道理来说不是应该更便宜吗

蒸馏要求大并发和高可用,也更不容易被封号。如果直接在普通接口蒸馏,估计检测到会进行封号

蒸馏影响中转站号池,它成本会更高

但是他怎么获得思维链的?claude是容易蒸馏cot,但是gpt的蒸馏分组是怎么获得的?