佬友们，最近领导想要弄个垂直领域的小模型，请问有什么好的蒸馏框架么（文本类的） 还有什么卡比较好？H100 H200 是否适合 需要多大的卡
5 Likes
LLaMA Factory
期待其他答案，帮顶
1 Like
之前一直用的ms-swift，和llama factory差不多，但感觉比llama factory简洁点（也可能是我先习惯了ms-swift 
1 Like
看到你发我想到这个了，ms-swift 之前也拉取到本地玩过，modelscope 开发的，值得推荐 
蒸馏难的是数据构建，这部分都没有啥参考框架，数据搞好 其他的都好做，
3 Likes
LLaMA Factory微调的时候之前搞过 换了新工作之后就没怎么搞微调。原来也是支持蒸馏的呀 谢谢佬友！
涨见识了 这个还没接触过 看了一下 也是支持CPU的呢？老厉害了！再详细看看蒸馏的如何搞 谢谢佬友！
也是只能一边问答一边收集构建了。目前来看 确实数据少了些 mark一下
太笼统啦，小模型具体是多大参数？目前在做qwen3.6-27B后训练，SFT 8张H100就能训，GRPO要32张H100 
蒸馏的本质就是数据构建+微调or强化学习，对于框架 楼上讲的两个都行。数据合成和清洗的 得自己再找找了
1 Like
现在就没有很明确的概念，想着如果用32B大小 蒸馏出端侧可用的 小0.几B的模型，现在反而是第一步就是对卡的需求不是很明确了
好的 佬 继续找找看测试测试看看。哈哈哈也是不知道哪种方式更好，所以请教大佬们