最近工作需要使用 skills-creater 创建了几个 sklls。
但是实际使用起来磕磕绊绊的,感觉很不流畅。
想问问佬们有没有什么评判标准,和优化方法。
或者优化 SKlls 的 SKills?
生成子skll,并且放在父skll目录下
好用就行
但是说真的,skill只是个说明书,主要还是看模型能力,模型综合能力越强,体验就越好。
anthropics 的 skill-creator 就有自带 skill 评测流程;
有点玄乎了,skill不是什么魔法啊,本质是为了压缩你的工作流,不需要每次都说一样的话,把你的prompt和固定的流程打磨成一个固定的东西,本质上就是一个高度压缩的prompt。
那自然而然,好不好用就有以下几点决定:
- 创建skill的时候,模型写的怎么样,有没有表述清楚你的需求,每个点,轻重是否到位
- 用skill的时候,使用这个skill的模型能力如何,模型能不能遵循每一个指令完成有效的产出
- 最重要的一点:你自己有没有想清楚这个skill的意义,你自己对这个skill的需要和期望是什么。自己想清楚了,模型才能进一步转换,才能进一步有效输出。
哪里会有什么“优化skill的skill”,这毕竟不是什么魔法或是算法,说优化就能一键优化的,当然是你一步一步拆分看,哪里没有表述清楚,哪里和你的设想预期不符。核心就是一点:skill是为自己服务的,盲目迁移复制别人的skill当然不舒服。
佬可以看看我写的这个优化skills的skill:
这个skill使用langfuse管理数据集(触发待优化的skills的prompt),并且会建立评估器,每次对skill进行调优以后,都可以跑回归测试,看看总体分数有没有下降,并且基于测试反馈,可以继续优化skills