来源说明：Lilian Weng, “Harness Engineering for Self-Improvement”, Lil’Log, 2026-07。 ⚠️ 这篇文章讨论的是 harness 这一通用概念（环绕 base model 的部署系统），全文未提及 DeepSeek Harness（发表时间早于 dsh 开源）。它的价值在于提供了理解 dsh 这类系统的设计语汇与研究地图。本页为第三方文献整理 + 与 dsh 机制的对照（对照部分是本 wiki 的分析）。
核心定义
Harness 是环绕 base model 的系统：编排执行、决定模型如何思考与规划、调用工具并行动、感知与管理上下文、存储产物、评估结果。相对早期 “agent = LLM + memory + tools + planning + action” 框架，harness 工程额外包含 workflow 设计（loop engineering）、评估、权限控制、持久状态管理——不再是 prompt 模板，而是接近运行时与软件系统设计。
作者强调 harness 与操作系统的强类比：封装复杂逻辑、保持接口简单；配置、工具接口与协议会逐步行业标准化。harness 层对 RSI（递归自我改进）重要：近期路径不太可能是模型直接改权重，而是 harness 先进化为 meta-methodology，成熟 harness 再支撑 auto-research。
三大设计模式 → dsh 的对应实现
| 模式 | 文章要点 | dsh 中的对应（本 wiki 分析） |
|---|---|---|
| 1. Workflow Automation | goal-oriented loop：plan → execute → observe/test → improve → 再执行直至达标；可主动向用户澄清；模型分析自己的轨迹与失败案例并经 agent runtime 迭代 | agent loop 的 turn/step 循环（见 agent-lifecycle）；goal 自动续行、workflow JS 编排、ralph fresh-agent 循环（见 orchestration）；plan mode；ask_user_question 澄清 |
| 2. File System as Persistent Memory | harness 不应把全部日志塞进 context；durable state 放文件；长程 rollout 的产物（日志/diff/摘要/trace）远超 context window；读写文件是 LLM 基础技能，天然受益模型能力提升 | session 是 append-only event log，模型历史派生而非堆积（见 session-model）；workspace 文件为权威状态；大结果经 spill 落盘只留引用（见 context-management）；compaction 压缩 surface |
| 3. Sub-agent & Backend Jobs | 并行子代理搜索多假设/并发实验/隔离子任务不污染主 context；父 agent 需要小 process manager：启动、查日志、取消、合并结果；并行必须显式且可检查（产物落文件/日志/状态记录，而非只活在临时聊天 context） | subagent seam 六 provider + send_message/interrupt_agent/list_agents 控制器；jobs 运行时（start/list/read/kill/wait，owner 授权）；子 agent 身份与 report 都是 durable session 事件（见 orchestration、context-management） |
Coding Agent Harness 案例研究
文章指出主流 coding agent（Claude Code、Codex、OpenCode、Cursor 系）的核心接口已稳定，工具分组与 dsh 的 tool-catalog（见 tool-system）几乎一一对应：
| 文章分组 | dsh 对应工具 |
|---|---|
| File system（glob/grep/ls、read、write/edit/multi_edit/apply_patch） | glob/grep（内置 ripgrep）、read、write/edit、str_replace_editor |
| Shell execution（bash/PowerShell） | bash（+持久 PTY 变体）、pwsh |
| IO（lsp、git 工具） | lsp（goToDefinition/findReferences/hover） |
| External context（MCP、Skills） | dsh-mcp-client（mcp__server__tool 命名）、skill 系统（SKILL.md 发现优先级） |
| Web search（web_search/web_fetch/browser） | web_fetch/web_search（deepseek/exa/perplexity provider） |
| Artifacts（读文档/图片、生成 HTML/图片） | read_image、attachment |
| Backend processes（CronCreate/Delete/List） | schedule_create/delete/list、job_* |
| Agent delegation（spawn/resume/wait/list/close/interrupt） | subagent、subagent_fork、send_message、interrupt_agent、list_agents |
Harness Layer vs Core Intelligence：作者预测许多 harness 改进最终会被内化进模型本身（如同 prompt engineering 的演化），但与外部上下文和工具的接口会保留。
Harness Optimization 研究地图
优化对象的演进：instruction prompts → structured context → workflow → harness code → optimizer code。
Context Engineering
- ACE（Zhang et al. 2025）：context 是演化的 playbook 而非不断变长的 prompt。Generator（产轨迹）/ Reflector（蒸馏洞见）/ Curator（增量更新 itemized bullets，防止 context collapse 与 brevity bias）。
- MCE（Ye et al. 2026）：分离 mechanism（如何管 context）与 artifact（context 内容）；bi-level 优化：内层给定 skill 找最优 context，外层在验证集上进化 skill；skill 用 agentic crossover 产生。
- Meta-Harness（Lee et al. 2026）：优化对象是”决定存/取/展示什么信息的代码”——优化 harness 的 harness；proposer 本身是 coding agent，用 grep/cat 读文件系统上的执行历史而非全塞 prompt；输出 Pareto 前沿的 harness 候选。
Workflow Design
- AI Scientist（Lu et al. 2026）：提想法→写代码→跑实验→分析→写稿→peer review 全流程管线。
- ScientistOne（Meng et al. 2026）：以可验证性为中心约束，每个 claim 必须可溯源证据（Chain-of-Evidence 审计）。
- Autodata（Kulikov et al. 2026）：challenger/weak solver/strong solver/verifier 四角色合成”恰好难度”的训练数据。
- ADAS（Hu et al. 2025）：meta-agent search——把 agent 设计本身当优化问题，meta-agent 用代码提出新 workflow，archive 保存成功者。
- AFlow（Zhang et al. 2025）：workflow 表示为图（节点=LLM 动作，边=代码逻辑），用 MCTS 优化；在 QA/代码/数学上优于手工设计与 ADAS。
Self-Improving Harness
- STOP（Zelikman et al. 2023）：不改进解 s，而是递归改进 improver I 本身（
I_t = I_{t-1}(û, I_{t-1}; M)）。警示结果：GPT-4 上迭代提升，但 GPT-3.5/Mixtral 上退化——递归结构不够，base model 必须足够强。 - Lin et al. 2026（harness-updating ≠ harness-benefit）：两轴解耦——产出有用 harness 编辑的能力 vs 利用更新后 harness 的能力。Qwen3.5-9B 到 Opus 4.6 的 harness-updating 能力接近持平；harness-benefit 非单调，中档模型受益最大。
- Self-Harness（Zhang et al. 2026）：propose-evaluate-accept 循环——weakness mining（verifier-grounded 失败模式聚类）→ bounded harness proposal（给定可编辑表面/失败模式/需保留的通过行为/历史尝试）→ held-in + held-out 双 split 回归验证，零回归才合并。
- AHE（Lin et al. 2026）：瓶颈在 observability，三支柱——component（harness 7 组件都在文件系统有表示：system prompt/tool description/tool impl/middleware/skill/sub-agent config/long-term memory）、experience（Agent debugger 把轨迹分层汇总成证据）、decision（每次编辑配下一轮可证伪的预测）。防 reward hacking：runs/verifier/LLM 配置只读，编辑只能动 harness workspace。Terminal-Bench-2 上超过人工 harness（OpenCode/Terminus-2/Codex），冻结后可迁移 SWE-bench。
- 作者的安全关切：程序被允许编辑”操作系统”时抽象边界被破坏——可编辑表面需精心设计，权限与安全层必须在循环之外。
Evolutionary Search
- Promptbreeder（2023）/ GEPA（2025）：进化搜索用于 prompt；GEPA 用反思式自然语言更新 prompt，声称可优于 RL。
- AlphaEvolve（Novikov et al. 2025）：coding-agent 进化搜索；候选程序池 + 冻结 LLM 生成 diff；改进区域用
# EVOLVE-BLOCK-START/END显式标记；meta-prompt 与解共同进化。 - ThetaEvolve / DemoEvolve / ShinkaEvolve：分别结合 RL+in-context learning、人类专家示范、采样效率（父本采样/代码新颖度拒采/meta-scratchpad）。
- Darwin Gödel Machine（Zhang et al. 2025）：agent 修改自己的 harness 代码库；固定模型下进化 harness——Claude 3.5 Sonnet 基座，SWE-bench Verified 20%→50%、Polyglot 14.2%→30.7%。后续 Hyperagents（2026）引入 meta-agent 控制如何改造任务 agent。
- 适用条件：解可自动评估、fitness 易量化；评估慢/模糊/启发式的领域困难。
Joint Optimization with Weights
- SIA（Hebbar et al. 2026）：Meta-Agent/Task-Agent/Feedback-Agent 三组件，Feedback-Agent 决定本轮改 harness 还是改权重。作者认为实验有混淆因素，证据 provisional。
- Continual Harness（Karten et al. 2026）：长程游戏环境中 harness 更新 + 蒸馏教师标签共学策略模型。
未来挑战（7 条）
- 弱而模糊的评估器——自我改进循环只在评估指标客观可测时工作得好；研究品味/新颖性/长期价值难度量。
- Context 与记忆生命周期——作者认为 context engineering 最终应成为智能本身的核心部分，而非停留在软件层。
- 负面结果——文献偏向成功，LLM 不擅长放弃假设/报告失败；harness 应让失败尝试易于保存。
- 多样性坍塌——进化/RL 循环倾向榨取已知高奖励模式，需防止种群坍缩。
- Reward hacking——评估器与权限控制应位于 harness 进化循环之外（held-out 测试、trace 审计、关键决策点人工审查）。
- 长期成功——coding agent 优化目标太短期；可维护性、所有权边界、迁移成本、向后兼容难进沙箱 RLVR 奖励。
- 人的角色——人应上移抽象层而非移出循环；系统设计要考虑何时何地设置人工触点。
附录：相关 benchmark
PaperBench（复现 ICML 2024 论文）、CORE-Bench（计算可复现性）、ScienceAgentBench（数据驱动科学发现）、RE-Bench（ML 研究工程 vs 人类专家；AI 在 2h 预算领先 4×，但 8h/32h 人类反超）、MLE-bench（75 个 Kaggle 赛题）、KernelBench（GPU kernel 正确性+加速比）。
对理解 dsh 的启示（本 wiki 观点）
- dsh 是文中”coding agent harness 接口趋同”判断的一个开源注脚：工具分组、loop 形态、delegation 接口与文章清单高度吻合（见 tool-system）。
- dsh 的多个设计恰好回应文章的安全关切：approval/sandbox 权限层独立于模型可控表面、fail-closed（见 security-sandbox）；goal activation 不持久化防止无人授权的自动续行；session log “model-visible means logged” 提供 trace 审计基础（见 session-model）。
- 文章指出的”可编辑表面”问题在 dsh 中对应 dynamic plugin（
cordis_define/run，刻意不进出货树、需审批）与 AGENTS.md/hooks 等受限扩展点（见 extension-development）。 - 若做 harness 自进化实验，dsh 的 cordis.yml 插件树 + patch overlay 本身就是一个结构化、可 diff 的 harness 表示——符合 AHE “component observability” 的要求。
相关页面
- ship-of-theseus-rsi — 社区分析文，正是以本文为解读框架来理解 DSH（“看懂 DSH 的钥匙”）
- overview — dsh 总览；tool-system — 工具清单对照
- orchestration — workflow/subagent 机制；security-sandbox — 权限层独立性