r/singularity, Meta-Harness의 Claude Code 추월 주장과 AI 설계 harness 논의

r/singularity의 한 게시물은 286점과 57개 댓글을 기록하며 Stanford researchers가 harness를 autonomously 개선해 TerminalBench 2에서 Claude Code를 크게 앞섰다는 프레이밍으로 주목을 받았다. 본문은 Meta-Harness 페이지로 연결됐고, 토론은 단순한 헤드라인보다 실제로 무엇이 최적화됐는지로 빠르게 옮겨갔다.

Meta-Harness 페이지는 이를 model harnesses를 위한 end-to-end optimization method라고 설명한다. 핵심은 base model 자체를 바꾸기보다 에이전트가 파일을 살펴보고, 도구를 호출하고, 실행 결과를 반영하는 바깥쪽 구조를 다듬는 데 있다. 이 지점은 Reddit 댓글의 첫 번째 관심사와도 정확히 맞물렸다. 여러 이용자가 harness가 실제로 무엇을 뜻하는지, 그리고 성능 향상이 더 강한 모델이 아니라 더 나은 orchestration에서 얼마나 나올 수 있는지를 물었다.

페이지에는 더 작은 illustrative 19-task search 결과도 제시된다. iteration 7까지 갔을 때 Terminus-KIRA 28.5%가 46.5%로 개선됐다는 설명이다. 전체 TerminalBench-2에 대해서는 code translation, distributed ML setup, systems programming, bioinformatics, cryptanalysis 등을 포함한 89개의 Dockerized tasks로 구성된 benchmark라고 적혀 있다. 또한 harness search의 proposer는 filesystem 안에서 full source code, scores, execution traces를 살펴볼 수 있는 coding agent이며, 페이지는 그 proposer가 grep과 cat 같은 도구를 사용하는 Claude Code라고 명시한다.

• Claude Opus 4.6에서 Meta-Harness는 76.4%를 기록해 Terminus-KIRA 74.7%와 Claude Code 58.0을 넘었고, 인용된 leaderboard page에서 Opus 4.6 agents 기준 2위로 제시됐다.
• Claude Haiku 4.5에서는 Meta-Harness가 37.6%로 Goose 35.5와 Claude Code 27.5를 앞섰고, Haiku 4.5 agents 기준 1위로 소개됐다.

댓글은 이 수치를 그대로 받아들이기보다 그 의미를 두고 토론을 벌였다. 한 축에서는 AI가 설계한 harness가 사람의 수동 개발 루프보다 더 빠르게 개선될 수 있는지에 관심이 모였고, 다른 축에서는 이런 방법이 결국 open models에도 적용될지에 시선이 쏠렸다. 즉, 스레드는 단지 Claude Code를 이겼다는 숫자보다도, model 주변의 system design을 자동화하는 방식이 얼마나 큰 차이를 만들 수 있는지에 대한 커뮤니티의 기대를 드러냈다.

그 점에서 이 게시물의 커뮤니티 각도는 분명하다. r/singularity 이용자들은 특정 benchmark 결과를 소비하는 데서 멈추지 않고, harness라는 층위가 앞으로 agent 경쟁력의 핵심 변수가 될 수 있는지 점검하고 있었다. Meta-Harness 사례는 base model 경쟁뿐 아니라 tooling, orchestration, evaluation loop 같은 주변 구조가 앞으로도 계속 최적화 대상이 될 수 있다는 가능성을 보여준 사례로 읽혔다.