harness 是把事前、事中、事后都纳入到 coding agent 上去做了,人类负责制定规则、决策、关键审查等工作。
嗯 可能harness本身就是一种设计理念,所以不能根据具体的superpowers进行对比。
这几天用codex帮我跑了一个资料汇总 gh page:Everything Harness Engineering · Everything Harness Engineering 跟本帖一样打算长期更新下去
这几天时不时的用AI做研究整理,然后我也在b站高强度刷视频,就是没有真正的一字一句的读那些关键文章。
不过也归纳出了几个点:
- 虽然都带 harness,但是 harness agent 和 harness engineering 并不是一回事
- harness agent 像一套马鞍马具,是为了让 agent 更好的工作和协同,相对静态
- harness engineering 像马术,你在有了马鞍马具也有马了,你需要根据马的脾气和马具提供的能力来驾驭AI开发
- 宽泛一点讲 superpowers / gsd / gstack 都算是 harness engineering,作为使用者去比较、探索和定制都算是 harness engineering 的环节,就好比你是个机械工程师,你那些插件/套件/skill集是一些标准件或者总成,但是你要用这些组成适合自己工作的机器
- 所以说广义的讲 如何抑制AI Agent在重构的过程中削足适履、面多加水水多加面、补丁摞补丁、鲁布·戈德堡机械结构等问题? 这样的讨论也算是 harness engineering 相关工作
- 当然还是要约束一下边界的,我觉得比较合适的范围是:
- 制定多层次的原则、铁律和建议。 所谓多层次就是有通用级别的,有组织/个人级别的,有项目级别的;然后原则像宪法负责整体方向,但不一定有可执行性,铁律像刑法必须遵守不准打折扣,建议像制度最好遵守但是也可以变通。
- 确定Agent的流程规范。 流程也分长流程短流程,短流程就比如superpowers或者openspec等基于spec做规划执行和检验;长流程会融入更多的环节比如更完善的集成测试、E2E回归测试、代码评审(主要是代码风格)等等
- 确定人类和Agent交互面上的工作。 比如前期与AI讨论圈定范围,中期监督执行确保不跑偏,后期验收评估质量。
这是我在AI自动研究的基础上归纳出来的点,但是我也需要带着这些再回到真实材料中核对校正。
来分享一些思维吧 一般的ai项目分为两种
第一种工程上对应的是声明式编程 (Declarative Programming) 的 Vibe 化。用自然语言写下期望的业务状态和执行标准 AI 就像 Controller。它不需要知道自己是什么,它只是一个被赋予了执行能力的“抽象算力节点”。它读取自然语言指令和Markdown执行标准,然后去调用外部技能(Skills),努力把当前系统的实际状态拉平到你在 Markdown 里描述的期望状态。
第二种的重心是如何维持和记录一个智能体的生命周期, 重心是行为观测与数据捕获,将软件工程抽象为马尔可夫决策过程. 它是一套基础设施。它不在乎这个 Agent 是去查天气还是去改底层的 C++ 代码,它在乎的是:“当 Agent 发起动作时,我如何拦截它?如何给它打分?如何把它包装进一个可重复执行的 Loop 里?”
本质上的话第二种会更多的像此图中完整的agent loop. 而第一种会更敏捷
再提一嘴的是, 我的经验是codex很适合第一种 因为模型能力很强 更能构建出Declarative Programming的未来视图
但第二类的话不推荐codex 其的安全性稳定性很差 经常会破坏系统的稳定性 很推荐Claude code
长文档分析、逻辑推理、安全要求高,Claude
执行多步骤操作、结合实时信息或处理多模态内容,GPT
superpowers太重了 可能ai harness这种范式就不太适合端到端的适配 的和业务逻辑一起思考
哈哈 我在想能不能把这个帖子中的所有工程摘出来,让AI 学一遍,然后整一个最佳实践!
看完这篇帖子,感觉比较难的是设计打分环节吧,如何让结果或者中间过程可以量化,可观测,只有可以量化或者打分,AI 才能去不断优化分数!
如果是后端的逻辑结构设计,还是可以打分的,但是视觉设计又是另一个问题,但是我觉得视觉设计还好说,可以交给专门的设计人员/AI去做。
佬用并行或者team了吗
mark 一下
收藏学习
一直开着并行,但是没用team,你说的 team 是 claude 中的 team 吧?没有廉价claude token之后就很少用claude了
支持一下,长期关注
mark住学习一下
又开始新的玩意了
不错的分享。
如果有学过控制理论的老哥 理解这些概念就很容易了 Context Engineering 还停留在开环控制上 而 Harness Engineering 已经进入到闭环控制上了
具体有哪些 trick 其实搞控制工程的那帮巨佬早就把闭环方案从理论到工程都给你撸过一遍了 现在只要看这些 AI 巨头怎么凭直觉重新发现那些成熟理论 然后造些互联网的新名词就好了
佬有计划开源分享一下你这套实践吗,我觉得你这套理念很有道理
