계획 중 계속 배우는 world model

고정된 world model이 실제 환경 변화에 틀어질 때, 계획기는 잘못 상상한 미래를 최적화한다. NYU와 AMI Labs 연구진의 AdaJEPA는 이 지점을 직접 건드린다. 연구를 공유한 소스 트윗은 “Your world model should never stop learning”이라고 요약했다. 핵심은 학습이 끝난 뒤에도 모델을 그대로 얼려두지 않고, 행동 뒤 관측된 전이를 다음 계획 전에 자기지도 신호로 쓰는 구조다.

연결된 프로젝트 페이지에 따르면 AdaJEPA는 closed-loop MPC 안에서 plan-act-adapt-replan 사이클을 돈다. 에이전트는 현재 world model로 목표까지의 행동을 계획하고 첫 action chunk를 실행한다. 이후 관측한 전이 (o_t, a_t, o_{t+1})를 작은 online buffer에 저장한 뒤 latent prediction error를 줄이는 방식으로 모델을 갱신한다. 기본 설정은 MPC 재계획마다 1번의 gradient step, 최근 5개 전이 버퍼, visual encoder와 predictor의 마지막 층 중심 업데이트다.

분포 변화에서 의미가 커지는 이유

논문 페이지는 PushObj shape shift, PushT visual shift, PointMaze dynamics/layout shift를 예로 든다. 시각 입력에 blur, salt-and-pepper noise, 어두운 조명, 색 변화가 들어오거나 물체 모양과 maze 배치가 달라질 때, frozen model은 학습 때의 구조를 계속 가정하기 쉽다. AdaJEPA는 실행 중 마주친 전이를 이용해 latent world model을 재보정하고, 저데이터 PushObj 설정에서는 frozen-model success를 2배 이상으로 끌어올릴 수 있다고 설명한다.

Yann LeCun이 리트윗한 점도 맥락을 만든다. LeCun은 JEPA 계열 표현학습과 world model 논의를 꾸준히 밀어온 연구자이며, 이 글은 그 방향이 정적 representation에서 배포 중 적응으로 이동하고 있음을 보여준다. 다음 관전 포인트는 실제 로봇이나 장기 실행 에이전트에서 같은 방식이 얼마나 안정적으로 작동하는지, 그리고 online adaptation이 안전 제약이나 human-in-the-loop 검증과 어떻게 결합되는지다.

#jepa

AdaJEPA, 1번의 gradient step으로 world model을 실행 중 현장 보정