HN 화제: AGENTS.md가 코딩 에이전트 성능을 항상 높이지는 않는다는 arXiv 분석

Hacker News에 올라온 내용

"Evaluating AGENTS.md: are they helpful for coding agents?"라는 HN 글이 크롤링 시점 기준 184점, 146개 댓글을 기록했다. 링크된 원문은 arXiv:2602.11988로, 제출일은 2026-02-12다. 연구 주제는 최근 팀들이 도입하는 AGENTS.md 같은 저장소 수준 지침 파일이 실제로 코딩 에이전트 성능에 도움이 되는지 검증하는 것이다.

연구 설계

논문은 두 가지 환경을 함께 본다. 첫째, SWE-bench 계열 과제에서 LLM이 생성한 컨텍스트 파일을 붙여 성능을 측정했다. 둘째, 개발자가 실제로 컨텍스트 파일을 커밋해 둔 저장소 이슈 컬렉션을 별도로 구성해 평가했다. 즉, "권장 포맷을 따랐을 때"와 "현업 저장소에서 이미 쓰이는 파일"을 모두 비교한 구조다.

핵심 결과

저자들은 여러 코딩 에이전트와 LLM 조합에서 컨텍스트 파일이 없는 경우보다 작업 성공률이 낮아지는 경향을 확인했다고 보고한다. 동시에 추론 비용은 20% 이상 증가했다. 행동 측면에서는 에이전트가 파일 탐색과 테스트 실행을 더 넓게 수행하고 지시를 잘 따르는 경향이 있었지만, 불필요한 요구사항이 많아질수록 문제 해결 난도가 올라간다는 결론이다.

실무 적용 포인트

이 결과는 AGENTS.md를 버리라는 의미가 아니다. 오히려 문서를 "최소 요건 중심"으로 압축하라는 신호에 가깝다. 린트 규칙, 코드 스타일, 테스트 절차를 무작정 길게 나열하면 토큰 비용과 실패율이 같이 늘 수 있다. 팀 운영에서는 규칙을 추가할 때마다 성공률과 비용 변화를 계량해, 유지할 지침과 제거할 지침을 구분하는 방식이 필요하다.

출처: Hacker News 스레드 · arXiv 원문