寻找若干份【抽象】回答的数据集, 微调模型

本人不太擅长聊天,属于初级抽象怪, 在魔搭社区的数据集中找了半天没找到:
想要把废话变成优雅的语言
变成一个高级的抽象逻辑怪

1 个赞

弱智吧语录?
我觉得这种也可以试试蒸馏

1 个赞

这个就得细挑了,因为不太像是对话的了,更有点像是自己看的, 感觉

我喜欢你 <-这种,搬一下bilibili那些视频的评论区就有了 :melting_face:

我现在自己整理了一些垂域的数据集,大概5000W tokens 左右, 现在做对一个0.5B的模型全量参数微调之后,准确率在55% 有没有佬交流一下。后续的优化方向

是很抽象啊

主要是可能得各种到处找,写个爬虫什么的, 在这块得花费的时间太多

这么多数据量哪里来的呀 佬

企业内部的一些资料, 然后整理成了alhpca格式的数据集。