NVIDIA Lyra 2.0, 단일 이미지에서 Isaac Sim용 탐색 가능한 3D 세계 생성

트윗이 드러낸 것

NVIDIA AI Developer는 “Lyra 2.0”을 “persistent, explorable 3D worlds at scale”을 생성하는 framework라고 설명했다. 트윗은 현재 AI model이 공간이 어떻게 생겼는지 잊거나 움직임을 추적하지 못해 object가 이동하거나 blur되는 문제가 있다고 짚었다. Lyra 2.0의 해결책은 과거 frame을 되찾고 spatial correspondence를 세우기 위한 per-frame 3D geometry, 그리고 temporal drifting을 고치는 self-augmented training이다.

이 계정은 NVIDIA의 개발자 대상 AI 채널로, research code, model demo, applied AI workflow를 자주 올린다. 이번 글도 단순한 영상 teaser가 아니다. 링크는 research page와 paper로 이어지고, 프로젝트 페이지는 Lyra 2.0을 camera-controlled walkthrough video를 만든 뒤 feed-forward reconstruction으로 3D에 올리는 방법으로 설명한다.

기술 디테일이 중요한 이유

핵심 문제는 consistency다. Text-to-video와 image-to-video system은 짧은 움직임은 그럴듯하게 만들 수 있지만, 긴 scene exploration에서는 camera가 돌아서거나 뒤로 움직이거나 같은 곳을 다시 방문할 때 geometry를 기억해야 한다. NVIDIA는 Lyra 2.0이 generated frame 사이 information routing으로 spatial forgetting을 줄이고, self-augmented training으로 temporal drift를 줄인다고 설명한다. 프로젝트 페이지는 결과물을 3D Gaussian splats와 mesh로 변환하는 예시도 보여 준다.

가장 중요한 부분은 robotics 연결이다. NVIDIA는 생성된 scene을 physics engine으로 export할 수 있고, NVIDIA Isaac Sim에서 robot navigation과 interaction에 쓰는 예시를 제시했다. 이는 image-based world generation이 embodied AI simulation으로 이어질 수 있음을 뜻한다. 이 경우 output은 보기 좋은 walkthrough를 넘어서, agent가 움직이고 인식하고 policy를 시험할 만큼 공간적으로 일관돼야 한다.

다음 관전점은 NVIDIA가 긴 camera path에서 consistency를 stress-test할 수 있을 만큼 code와 evaluation detail을 공개하는지, 그리고 Isaac Sim 사용자가 Lyra scene을 실제 synthetic training environment로 바꿀 수 있는지다. 출처: NVIDIA AI Developer X 게시물 · Lyra 2.0 project page · arXiv paper