如何判断 Skills 的好坏?

最近工作需要使用 skills-creater 创建了几个 sklls。
但是实际使用起来磕磕绊绊的,感觉很不流畅。
想问问佬们有没有什么评判标准,和优化方法。
或者优化 SKlls 的 SKills?

生成子skll,并且放在父skll目录下

好用就行

但是说真的,skill只是个说明书,主要还是看模型能力,模型综合能力越强,体验就越好。

anthropics 的 skill-creator 就有自带 skill 评测流程;

我喜欢用花叔的这个达尔文skill来评估和优化skill,当然最终也是取决于模型的能力的
alchaincyf/darwin-skill: 达尔文.skill —— 一个让你的Skill无限进化的系统:评估→改进→测试→保留或回滚 | Autoresearch-inspired autonomous skill optimization for Claude Code. Evaluate, improve, test, keep or revert.

有点玄乎了,skill不是什么魔法啊,本质是为了压缩你的工作流,不需要每次都说一样的话,把你的prompt和固定的流程打磨成一个固定的东西,本质上就是一个高度压缩的prompt。

那自然而然,好不好用就有以下几点决定:

  1. 创建skill的时候,模型写的怎么样,有没有表述清楚你的需求,每个点,轻重是否到位
  2. 用skill的时候,使用这个skill的模型能力如何,模型能不能遵循每一个指令完成有效的产出
  3. 最重要的一点:你自己有没有想清楚这个skill的意义,你自己对这个skill的需要和期望是什么。自己想清楚了,模型才能进一步转换,才能进一步有效输出。

哪里会有什么“优化skill的skill”,这毕竟不是什么魔法或是算法,说优化就能一键优化的,当然是你一步一步拆分看,哪里没有表述清楚,哪里和你的设想预期不符。核心就是一点:skill是为自己服务的,盲目迁移复制别人的skill当然不舒服。

佬可以看看我写的这个优化skills的skill:

这个skill使用langfuse管理数据集(触发待优化的skills的prompt),并且会建立评估器,每次对skill进行调优以后,都可以跑回归测试,看看总体分数有没有下降,并且基于测试反馈,可以继续优化skills