Hacker News에서 이어진 Mythos 후속 논쟁: 작은 open-weight model도 AI 보안 분석의 일부를 재현할 수 있나

Hacker News 스레드는 AISLE의 post-Mythos 분석을 둘러싸고 현재 AI 보안 작업에 frontier model이 얼마나 꼭 필요한지 묻는 논쟁으로 이어졌다. AISLE는 Anthropic의 Mythos를 부정하지 않는다. 대신 취약한 코드를 이미 좁혀 놓고 task를 촘촘하게 framing하면, 더 작고 저렴한 open-weight model도 headline에 나온 보안 분석의 상당 부분을 재현할 수 있다고 주장한다.

근거는 꽤 구체적이다. AISLE는 scoped review에서 테스트한 8개 model이 모두 Mythos의 대표 FreeBSD exploit를 찾아냈고, 그중 3.6B-active model도 overflow를 식별하고 critical 수준으로 판단했다고 썼다. 또 5.1B-active open model은 오래된 OpenBSD bug의 핵심 reasoning을 회수했다고 주장한다. 글은 여기서 cyber capability가 한 줄의 frontier가 아니라 jagged하다는 더 큰 결론을 끌어낸다.

• AISLE는 8개 중 8개 테스트 model이 scoped FreeBSD exploit를 감지했다고 주장했다.
• 작은 open model도 targeted security reasoning에서는 경쟁력이 있을 수 있다는 메시지가 제시됐다.
• HN의 핵심 논쟁은 scoped context와 full codebase discovery를 같은 문제로 볼 수 있느냐에 집중됐다.

하지만 HN 상위 댓글은 이 일반화에 더 엄격했다. 여러 댓글은 vulnerable function을 미리 건네주는 순간 현실의 취약점 연구에서 가장 어려운 단계, 즉 큰 codebase 안에서 relevant path를 찾고 exploitability를 입증하는 과정이 빠진다고 지적했다. 반대로 일부는 현대 agent scaffold가 실제로도 file 단위로 context를 좁혀 가기 때문에 scoped context가 완전히 인공적인 조건은 아니라고 맞섰다.

실용적인 해석은 중간에 있다. 작은 model도 targeted triage, exploit review, second-pass analysis에는 이미 충분히 강할 수 있고, 이는 비용 민감한 security pipeline에 중요하다. 다만 HN 스레드는 이것만으로 작은 open model이 frontier system을 완전한 autonomous discovery loop에서 대체한다고 보지는 않았다. 여기서도 결론은 model size보다 methodology를 함께 봐야 한다는 것이다.