想开一个 harness engineering 实践的长期帖子,大家一起分享实践经验

佬,你好吊,能不能帮忙指导一下我的项目,coldingcode/web-app-builder

harness 嘛,是以前没见过的名词呢,学习了

感觉 ai agent 相关的理论变得越来越庞大了,从单独的一句提示词,到整个ai 的窗口上下文管理,再到现在要管理 agent 具体的能力边界/运行结构…相关的理论/概念在实战中逐渐被提出

学习到了,非常收益,支持一下,长期关注

佬原来这个就属于harness吗?我一直以为只是简单的agent

佬,想请问下,这么理解是否合适?
那么harness engineering和其实所谓的superpowers也好还是openspec这类一系列为了提升代码质量的skills也好,对比而言,最大的这样的区别是否应该还是harness类似于’公司’这样一套完整框架体系流程,而superpowers或者openspec等等都是相对于底下的各种’职能部门’,'职能部门’是无法单独运转自己能力之外的一些事务流程的。

这是个好问题啊,我也是在学习过程中,只能分享一下我的理解,顺便也回复一下楼上的 @wildman

我觉得 superpowers 这样的插件如果看单个 skill 就有点类似于实用小工具,或者说工具集。

但是它有一些 skills 是可以联动形成工作流的,比如 brainstorm → spec → plan → Subagent Drive + TDD 就有一些 harness engineering 的味道了。


如果继续深入下去:

  1. 把过程文档进一步的系统化(比如目录结构更加细致,而不是像 superpowers 默认的那样的扁平的存放方式);
  2. 增加运行过程状态管理(比如 OMX 的 .omx 目录似乎就是存放过程状态文件的);
  3. 增加刚性门控(比如测试)、柔性门控(比如评审)
  4. 在门控的基础上再增加相应的未通过处理分支能够自动修正工作;
  5. 再加上精心设计的原则、法律、建议等规则系统;
  6. 然后确保执行器能够在一个干净的上下文环境中,信息充足且低噪音(高信噪比),以使大模型在最佳状态下推理工作

这样这个就形成了一整套重量级的 harness 体系了,这个过程我的理解就是 harness engineering。

当然我认为完善的 harness engineering 除了需要考虑这种整块的工作——能够很干净的从规划到执行到验收的工作,还有修bug、调整特性、增加新功能这类琐碎的高频工作,以及需要考虑如何发现腐败的设计进行自动重构。

7 个赞

:+1::+1::+1:,感觉有了从抽象——>具体化的一些感觉了,感谢

好贴收集+1
https://linux.do/t/topic/1880937

再+1

3 个赞

就是给我的感觉是先有agent这一类智能体,在提出harness 工程的 :rofl,所以现在的我才有点后知后觉似乎,oh-my-openagent这一类也算是harness,甚至直接用claude都算

是的,我觉得只要成体系有闭环就算是harness engineering

一个实践感受:

如果用OMO(gpt-5.4)做一些开放性要求的简单的重构工作,比如整理类名,调整代码结构等等,它非常保守,因为它经常会自我约束只做最小可执行的计划。而OMO的框架又很重,每次执行后都要做很详细的门禁控制,对于能力较强的模型而言,有些过度保守了。

在下指令的时候试着显式的要求它划定范围的时候更彻底更激进更贪婪,避免跑了2个小时改了两行代码的情况。

学习一下

感谢佬分享,学习一下

感谢分享,认真学习

佬有尝试过Trellis吗 GitHub - mindfold-ai/Trellis: The best agent harness. · GitHub

感谢佬的分享,最近想学习一下相关的知识,没想到打瞌睡碰上枕头,太棒了

感谢,最近正在有这方面的困惑。AI的使用总是不得要领,这个算是纠正姿势了。

终于找到长期学习贴了,可以慢慢看了,关注学习 一下,

还没试过呢,虽早有耳闻但框架太多了,试不过来 :joy:

佬跑了几天下来,你感觉OMO和superpower比到底怎么样,我看到之前CC源码泄露的时候,用OMO复刻的那个效率太令我震惊了