計画しながら更新するworld model

world modelが現実の変化を外すと、計画器は誤った未来に向けて最適化してしまう。NYUとAMI Labsの研究チームによるAdaJEPAは、その前提を変える。研究者が投稿したソース投稿は「Your world model should never stop learning」と短く表現した。学習後にモデルを凍結するのではなく、行動後に得た観測遷移を次の計画前の自己教師あり信号として使う、という主張だ。

リンク先のプロジェクトページによると、AdaJEPAはclosed-loop MPCの中でplan-act-adapt-replanを繰り返す。エージェントは事前学習済みJEPA world modelで計画し、最初のaction chunkを実行する。その後、観測した(o_t, a_t, o_{t+1})をonline bufferに保存し、latent prediction errorを下げるようにモデルを更新してから再計画する。標準設定はMPC再計画ごとに1回のgradient step、直近5件の遷移buffer、visual encoderとpredictorの最終層中心の更新だ。

分布変化への含意

評価は、固定モデルが崩れやすい場面に寄せられている。PushObjでは物体形状が変わり、PushTではblur、salt-and-pepper noise、暗い照明、色変化が入る。PointMazeでは物理特性や未見のlayoutが変わる。プロジェクトページは、AdaJEPAがin-distributionとout-of-distributionの両方で計画成功を改善し、低データのPushObj設定ではfrozen modelのsuccessを2倍超にできると説明している。

Yann LeCunがこの投稿をリポストした点も文脈として重要だ。LeCunはJEPA型表現学習とworld modelの議論を継続してきた研究者であり、この研究は静的な表現から、実行中に再較正するモデルへの移行を示している。次に見るべき点は、軽量なonline adaptationが実ロボット、長いhorizon、安全制約付きのエージェントでどこまで安定するかだ。誤った更新が誤った予測より高くつく環境では、適応の監視も同じくらい重要になる。

#jepa

AdaJEPA、1回のgradient stepでworld modelを実行中に継続補正する研究成果