Hacker Newsで続いたMythos後の論争: 小さなopen-weight modelでもAI security分析の一部を再現できるのか

Hacker Newsのスレッドは、AISLEのpost-Mythos分析をめぐって、現在のAI security作業に frontier model がどこまで必須なのかという論点に集中した。AISLEはAnthropicのMythosを否定していない。むしろ、脆弱なコードをすでに絞り込み、taskを強く framing すれば、より小さく安価なopen-weight modelでも見出し級のsecurity reasoningのかなりの部分を再現できると主張している。

記事の根拠はかなり具体的だ。AISLEによれば、scoped reviewで試した8つのmodelはすべてMythosの代表的なFreeBSD exploitを検出し、その中にはoverflowをcriticalと判断した3.6B-active modelも含まれる。さらに5.1B-activeのopen modelは、古いOpenBSD bugの中心的な reasoning を回収したという。そこからAISLEは、cyber capabilityは一直線のfrontierではなく jagged だという広い主張へ進む。

• AISLEは、8つのtested modelすべてがscoped FreeBSD exploitを見つけたと述べた。
• 小さなopen modelでもtargeted security reasoningには十分使える可能性があるという主張だ。
• HNの争点は、scoped contextをfull codebase discoveryと同列に扱えるかどうかだった。

ただしHNの上位コメントは、この一般化にかなり慎重だった。複数のコメントは、vulnerable functionを先に渡した時点で、現実の脆弱性研究で最も難しい段階である relevant path の発見と、実用的な exploitability の立証が抜け落ちると指摘した。一方で、現代のagent scaffoldは実際にもfile単位でcontextを狭めるため、scoped contextは完全に人工的な条件ではないという反論もあった。

実務的な読み方は中間にある。小さなmodelでも targeted triage、exploit review、second-pass analysis には十分強いかもしれず、それはコストに敏感なsecurity pipelineでは重要だ。ただ、HNスレッドはそれだけで small open model が frontier system を fully autonomous discovery loop で置き換えられるとは見なしていない。ここでの結論も、model size以上にmethodologyを見るべきだという点に集約される。