Harness Training, 모델보다 “작업 발판”을 학습시키는 agent 실험

r/MachineLearning에 올라온 Harness Training 프로젝트는 agent 성능을 높이는 위치를 모델이 아니라 작업 발판으로 옮긴다. 작성자는 몇 달간의 작업을 거쳐 “Agent-driven Self-improving Harness”를 “Harness Training”으로 다시 정리했다고 설명했다. 핵심은 frozen task LLM을 그대로 두고, 특정 작업 환경에서 한 번 학습한 harness가 여러 모델과 작업 조건에서 더 나은 실행 구조를 제공하도록 만드는 것이다.

아이디어는 PyTorch식 사고방식과 닮아 있다. 모델 파라미터를 직접 바꾸는 대신, 모델이 호출하는 helper, 상태 표현, 행동 선택 절차를 학습 가능한 대상으로 본다. agent 시스템에서 성능 차이는 모델 크기나 prompt만으로 결정되지 않는다. 어떤 도구를 언제 보여줄지, 실패를 어떻게 재시도할지, 환경 관측을 어떤 형태로 압축할지가 결과를 크게 바꾼다.

이 접근이 흥미로운 이유는 비용 구조 때문이다. 매번 큰 모델을 fine-tuning하거나 작업별 prompt를 손으로 다듬는 방식은 느리고 재사용성이 낮다. 반대로 harness를 한 번 학습해두면, 새 모델을 끼우거나 비슷한 환경에 옮길 때 같은 운영 지식을 재활용할 수 있다. 물론 실제 일반화는 검증이 필요하다. 특정 벤치마크에 맞춘 helper가 다른 환경에서도 통할지, 학습된 harness가 디버깅 가능한 형태를 유지할지가 관건이다.

커뮤니티에서 이 글이 눈에 띈 건 agent 연구가 점점 모델 밖의 시스템 설계로 이동하고 있기 때문이다. “좋은 모델을 부른다”에서 끝나지 않고, 모델 주변의 실행 계층을 어떻게 학습하고 평가할지가 다음 병목으로 떠오른다. Harness Training은 아직 프로젝트 단계지만, agent 성능 개선을 software infrastructure 문제로 다루려는 흐름을 잘 보여준다.

Project repository