Mythos급 보안 분석, 정말 frontier model만 가능한가? Reddit의 검증

무슨 일이 있었나

r/LocalLLaMA에서 587점과 120개의 댓글을 모은 게시물은 AISLE의 AI Cybersecurity After Mythos: The Jagged Frontier 글을 확산시켰다. 핵심 주장은 강하다. Anthropic이 Mythos와 Project Glasswing 발표에서 강조한 대표 취약점 일부를, 더 작고 훨씬 저렴한 open-weights 또는 low-cost model도 상당 부분 따라갈 수 있었다는 것이다. 글은 이를 근거로 AI cybersecurity의 moat가 특정 frontier model 자체보다, discovery와 triage를 묶는 system과 expert scaffold에 있다고 주장한다.

근거로 제시된 실험도 꽤 구체적이다. AISLE은 Mythos 사례로 언급된 FreeBSD NFS bug를 여러 model에 던졌고, 8개 중 8개가 overflow를 찾아냈다고 썼다. 또 OpenBSD SACK bug처럼 더 미묘한 사례에서는 GPT-OSS-120b와 Kimi K2 같은 모델이 핵심 reasoning chain 상당 부분을 재현했다고 설명한다. 반대로 간단한 OWASP false-positive 판별에서는 frontier model보다 작은 모델이 더 잘 맞히는 inverse scaling 비슷한 결과도 나왔다. 이 때문에 source는 capability frontier가 smooth하지 않고 "jagged" 하다고 정리한다.

왜 Reddit이 시끄러웠나

하지만 댓글의 핵심은 headline보다 전제조건에 있었다. 가장 많이 공감받은 반응 중 하나는 "문제는 그 취약 코드를 찾는 것"이라는 지적이다. 이미 관련 function과 code snippet을 분리해 준 뒤 reasoning을 시키는 것과, 거대한 repository에서 실제로 attack surface를 탐색해 bug를 찾아내는 것은 완전히 다른 문제라는 뜻이다. 다른 댓글은 비교에 사용한 모델 세대 선택이 편향적일 수 있다고 비판했다. 즉 Reddit은 source의 결론을 흥미롭게 보면서도, 그것이 곧바로 Mythos의 end-to-end autonomy를 반박한다고 보지는 않았다.

그럼에도 이 글이 주목받은 이유는 중요한 균열을 건드렸기 때문이다. 보안 분야에서 모델 경쟁은 종종 "누가 가장 똑똑한가"로 환원되지만, 실제 production system은 broad scanning, vulnerability detection, triage, patching, exploit reasoning이 전부 다른 작업이다. AISLE의 글은 이 모듈별 차이를 수치와 transcript로 보여주려 했고, Reddit 반응은 그 위에 "그렇다면 system design이 더 중요해지는 것 아닌가"라는 질문을 얹었다.

Insights 관점에서 이 스레드의 의미는 frontier model hype를 낮추는 데 있지 않다. 오히려 AI security tooling이 model leaderboard보다 orchestration, cost structure, evaluator design으로 옮겨가고 있다는 신호에 가깝다. 작은 모델이 일부 reasoning task를 충분히 처리할 수 있다면, 경쟁력은 어느 모델을 쓰느냐보다 어떤 loop로 search와 validation을 묶느냐에서 갈릴 수 있다. 원문: r/LocalLLaMA, AISLE blog.