HarnessGrad

HarnessGrad: Harness as A Continual Learner

让 Harness 持续学习

固定模型，让 Harness 持续演进。

工具、上下文和控制流程决定了智能体能做什么。HarnessGrad 将环境反馈转化为针对这些可编辑代码的实验。

开始实验
智能体由 Harness 和模型组成，在环境中工作。智能体位于可调整的支架内。模型保持固定，工具、上下文和控制流程可以改变。智能体向环境发出行动，并接收反馈。环境工具 · 上下文 · 控制流程模型行动反馈
智能体 = Harness + 模型模型固定，工作方式可变。

五种学习方式。
一个被忽视的学习主体。

智能体可以通过上下文、记忆、技能或权重学习，也可以改变运用它们的 Harness。

HarnessGrad 专注于最后一条路径：改善智能体组织工具、构建上下文和在环境中行动的方式。

这些路径可以协同工作，节奏也有重叠；这里展示的是变化的对象，而非速度排名。

  1. 上下文

    交互过程中

    几句话就能改变下一步。

  2. 记忆

    跨任务

    经验留下持久的痕迹。

  3. 技能

    经验积累时

    有用的流程变得可复用。

  4. 权重

    训练更新时

    学习改变模型参数。

  5. Harness

    实验轮次之间

    反馈重塑智能体的工作方式。

不同的学习载体。Harness 是我们探索的方向。

你的 Harness。
它的下一次实验。

保留 Harness 的执行逻辑，通过适配器接入，选择支持的环境，并声明可修改的部分。

改进方法提出修改，HarnessGrad 运行候选版本、收集反馈并评估结果。

阅读集成指南
同一个智能体，不断演进的 Harness这是实验示意图，不是实测结果。机器人和模型保持不变：运行发出行动，反馈以轨迹形式返回，Harness 的工具架被修改，评估比较原始版本和候选版本。环境工具 · 上下文 · 控制流程模型保持固定行动运行轨迹上下文工具原始版本候选版本
运行 → 反馈 → 编辑 Harness → 评估流程示意，并非实测分数。
全程使用相同模型；不预设性能提升。
  1. 运行

    给智能体一个任务。

    入口启动一次运行。模型与环境之间的桥梁利用 Harness 提供的工具和上下文，将推理连接到行动。

  2. 反馈

    带回经验。

    收集环境反馈和运行轨迹。改进方法检查这些经验，决定下一步尝试什么。

  3. 编辑 Harness

    改变支架，而非模型。

    改进方法在声明的可编辑范围内提出修改：工具、上下文构建或控制流程。模型保持固定。

  4. 评估

    测试修改，再做决定。

    在声明的评估条件下运行候选版本，比较原始版本与候选版本的证据，并据此规划下一轮。

让证据说话。

探索已记录的运行及其条件，或亲自开始一个小实验。