本文へスキップ
MameTechNews
AI

Google Research、エージェントのハーネスを再帰的に改善するHarness²をApache 2.0で公開 モデルは固定のまま最大11.8ポイント向上

## POINTS

  • モデルの重みは固定し、プロンプトやツール、スキルなど8要素のハーネスをタスクごとに自動改善
  • 正解データなしで編集案を試して比べるPropose–Probe–Composeと、教訓を次のタスクへ引き継ぐ仕組み
  • 1ステップでWorkBuddy-Bench最大11.5ポイント、LAB部分合格率11.8ポイント向上、OpenCodeとCodexに対応

Harness²は、モデルを外側から支えるハーネスを自動で最適化するフレームワーク。編集対象はシステムプロンプト、ガードレール、メモリー、ツールの使い方の指示、サブエージェント、スキル、スクリプト、プラグインの8要素。2段階の再帰で構成され、タスクレベルでは「Propose–Probe–Compose」と呼ぶ手順で編集案を出し、同じタスク上で効果を試し、実行の違いから改善版のハーネスを組み立てる。正解データによる検証器がない未知のタスクでも編集の良し悪しを判断できるようにした点が特徴という。ハーネスレベルでは、採用したハーネスと根拠のある教訓を継続的に使う改善用ハーネスに蓄積し、次のタスクの改善に生かす。複数の候補を並列に試す方式と、改善を順に重ねる方式を選べ、実行エンジンはOpenCodeとCodexに対応する。論文によると、1回の改善ステップでWorkBuddy-Benchは最大11.5ポイント、JobBenchは4.5ポイント、LABの部分合格率は11.8ポイント向上し、改善の回数を増やすとさらに伸びた。動作にはLinux、Python 3.12または3.13、uv、Vertex AIの認証情報が必要。Googleの公式サポート製品ではないと明記されている。X上では、モデルの性能差に加えてハーネスの設計で成績が大きく変わるという議論の流れの中で取り上げられている。