NEvoは、特定の視覚脳領域を最も強く反応させるAI生成動画を探索する研究プロジェクトだ。EPFLとJohns Hopkins Universityのページでは、Neural-Guided Evolutionary Video Synthesisと説明されている。まず動画に対する脳反応を予測するencoding model、いわばdigital twinを作り、その予測値を報酬として使う。

探索は進化アルゴリズムに近い。動画はsubject、lighting、motion、moodなどのgenesで表される。候補をまとめて生成し、digital twinで点数を付け、良い候補を残して交差や変異を加えながら次の世代へ進める。計算量を抑えるため、まず強いstill imageを探し、その後motionを探索して2秒のclipにする二段階方式も取る。

研究道具としての狙いは明確だ。実験者が「この領域はこの刺激に反応するはず」と考えて素材を選ぶのではなく、より広い候補空間をモデルに探索させる。プロジェクトページでは、顔、場所、身体、motion、pattern、social sceneなど、既知の選択性と合成動画が対応することが示されている。視覚選択性を調べるための、より能動的なプローブと言える。

HNの議論は、その同じ仕組みを別の角度から見ていた。研究としては有用でも、推薦システムがすでに人を引き付ける短い動画を選べる時代に、生成モデルが加わればvisual superstimulusの自動探索につながるのではないかという懸念が出た。一方で、これは神経科学の道具として読むべきだという指摘もあった。重要なのは、脳反応を最適化目標にした瞬間、測定と操作の境界を明確にする必要があるという点だ。

HN discussion · Source

#brain

脳領域を最大刺激するAI動画、NEvoが投げた不穏な問い