Harness Training、agent改善をモデル本体から実行基盤へ移す試み

r/MachineLearningに投稿されたHarness Trainingは、agentの性能改善をモデル本体ではなく周辺の実行基盤に置くプロジェクトだ。作者は数カ月の作業を経て、「Agent-driven Self-improving Harness」を「Harness Training」として整理し直したと説明している。task LLMは固定し、特定の環境でharnessを一度学習させ、そのharnessで複数のモデルやタスク環境の能力を引き上げる、という考え方である。

PyTorch風の枠組みが面白いのは、helper関数、状態表現、リトライ、行動選択を最適化の対象として扱う点にある。agentシステムでは、結果を決めるのはモデルの大きさやpromptだけではない。どのツールを見せるか、観測をどう圧縮するか、失敗時に何を試すか、途中結果をどこで採用するかが実用性を左右する。

この方向が注目に値する理由はコスト構造にある。タスクごとに大規模モデルをfine-tuningするのは重く、promptを手作業で調整し続ける方法も再利用しにくい。harnessに運用上の知識を持たせられれば、新しいモデルや近い環境へ移すときに同じ実行ノウハウを使える可能性がある。ただし、一般化は検証が必要だ。特定ベンチマークに合わせたhelperが別環境でも効くのか、学習済みharnessが理解しやすい形を保つのかが重要になる。

この投稿が目を引くのは、agent研究の焦点がモデル外のシステム設計へ広がっているからだ。より強いモデルを呼ぶだけでなく、モデルの周囲にある実行層をどう学習し、評価し、再利用するかが次の課題になっている。Harness Trainingはまだプロジェクト段階だが、agentの信頼性をsoftware infrastructureとして扱う流れをよく示している。

Project repository