Hacker Newsで続いたMythos後の論争: 小さなopen-weight modelでもAI security分析の一部を再現できるのか

Hacker Newsのスレッドは、AISLEのpost-Mythos分析をめぐって、現在のAI security作業に frontier model がどこまで必須なのかという論点に集中した。AISLEはAnthropicのMythosを否定していない。むしろ、脆弱なコードをすでに絞り込み、taskを強く framing すれば、より小さく安価なopen-weight modelでも見出し級のsecurity reasoningのかなりの部分を再現できると主張している。

記事の根拠はかなり具体的だ。AISLEによれば、scoped reviewで試した8つのmodelはすべてMythosの代表的なFreeBSD exploitを検出し、その中にはoverflowをcriticalと判断した3.6B-active modelも含まれる。さらに5.1B-activeのopen modelは、古いOpenBSD bugの中心的な reasoning を回収したという。そこからAISLEは、cyber capabilityは一直線のfrontierではなく jagged だという広い主張へ進む。

AISLEは、8つのtested modelすべてがscoped FreeBSD exploitを見つけたと述べた。

小さなopen modelでもtargeted security reasoningには十分使える可能性があるという主張だ。

HNの争点は、scoped contextをfull codebase discoveryと同列に扱えるかどうかだった。

ただしHNの上位コメントは、この一般化にかなり慎重だった。複数のコメントは、vulnerable functionを先に渡した時点で、現実の脆弱性研究で最も難しい段階である relevant path の発見と、実用的な exploitability の立証が抜け落ちると指摘した。一方で、現代のagent scaffoldは実際にもfile単位でcontextを狭めるため、scoped contextは完全に人工的な条件ではないという反論もあった。

実務的な読み方は中間にある。小さなmodelでも targeted triage、exploit review、second-pass analysis には十分強いかもしれず、それはコストに敏感なsecurity pipelineでは重要だ。ただ、HNスレッドはそれだけで small open model が frontier system を fully autonomous discovery loop で置き換えられるとは見なしていない。ここでの結論も、model size以上にmethodologyを見るべきだという点に集約される。