コードレビュー品質2.17倍、OpenCodeReviewの制御型エージェントでトークン5〜15分の1

コードレビューエージェントの性能を押し上げたのは、より大きなモデルでも長い推論でもなかった。リポジトリの探索範囲と検証方法を意図的に絞る設計だった。Alibabaの研究チームが公開したOpenCodeReview論文では、最良構成のSEM-F1が25.10%に達した。同じ基盤モデルを使うClaude Codeの11.57%に対して2.17倍で、トークン消費量は比較対象の5分の1から15分の1だった。

評価は小規模なサンプルだけではない。AACR-Benchには、50のオープンソースリポジトリから集めた実際のpull request 200件と、10のプログラミング言語が含まれる。正解データは80人を超えるシニアエンジニアが3回の交差検証を行った1,505件のレビューコメントで構成された。研究チームはClaude CodeやCodexを含む比較対象を6種類のLLMバックエンドで検証し、全構成でOpenCodeReviewが最高のSEM-F1を記録したとしている。

差を生んだのは3段階の制約だ。Rule-Guided Dispatchは変更ファイルと確認基準を規則に基づいて割り当てる。Grounded File Reviewは汎用シェルの代わりに、出力を制限した専用ツールで呼び出し元、呼び出し先、共有データ構造などの文脈を追う。ファイル単位のサブエージェントは並列に動き、必要な場合だけ別ファイルの情報を取りに行く。Independent Reflectionは、生成側が見た探索履歴を伏せ、diffだけを材料に各コメントの反証を試みる。検証役が生成役の思い込みを増幅しないための情報境界である。

この構造は既存エージェントの二つの弱点を狙う。diff周辺だけを見るレビューでは、離れた呼び出し元の回帰やリポジトリ全体の規約違反を見落としやすい。一方、制限のないシェルを渡すと無関係な探索が増え、コストと結果のばらつきが膨らむ。もっともらしい誤コメントが一つ混ざるだけでも、人間の確認作業が増えて自動化の利点は薄れる。論文が引用した別の3,109件のPR調査では、エージェントだけでレビューしたPRのマージ率は45.2%で、人間だけの場合の68.4%を下回った。却下されたエージェントレビューの60%は、信号対雑音比が30%未満だった。

ただし、25.10%という絶対値は人間を代替できる水準を意味しない。AACR-Benchの正解データもAI支援と専門家検証で作られており、規則ベースの振り分けはリポジトリや言語が変わるたびに保守が必要になる可能性がある。著者らも、過去のレビュー履歴から規則を自動抽出する手法を今後の課題に挙げた。

それでも実務への示唆は具体的だ。ツール権限を広げ続けるより、必要な探索だけを許し、生成役と検証役が見る証拠を分離する方が、精度と費用の両方を改善できる可能性がある。コードは公開済みであり、次に確認すべき数字は独立チームによる再現結果、実運用での誤検出率、そして人間のレビュー時間をどれだけ減らせるかだ。