NVIDIA Lyra 2.0, 단일 이미지에서 Isaac Sim용 탐색 가능한 3D 세계 생성
Original: Today, we released Lyra 2.0, a framework for generating persistent, explorable 3D worlds at scale, from NVIDIA Research. Generating large-scale, complex environments is difficult for AI models. Current models often “forget” what spaces look like and lose track of movement over time, causing objects to shift, blur, or appear inconsistent. This prevents them from creating the reliable 3D environments required for downstream simulations. Lyra 2.0 solves these issues by: ✅ Maintaining per-frame 3D geometry to retrieve past frames and establish spatial correspondences ✅ Using self-augmented training to correct its own temporal drifting. Lyra 2.0 turns an image into a 3D world you can walk through, look back, and drop a robot into for real-time rendering, simulation, and immersive applications. ➡️ Learn more: https://research.nvidia.com/labs/sil/projects/lyra2/ 📄 Read the paper: https://arxiv.org/abs/2604.13036 View original →
트윗이 드러낸 것
NVIDIA AI Developer는 “Lyra 2.0”을 “persistent, explorable 3D worlds at scale”을 생성하는 framework라고 설명했다. 트윗은 현재 AI model이 공간이 어떻게 생겼는지 잊거나 움직임을 추적하지 못해 object가 이동하거나 blur되는 문제가 있다고 짚었다. Lyra 2.0의 해결책은 과거 frame을 되찾고 spatial correspondence를 세우기 위한 per-frame 3D geometry, 그리고 temporal drifting을 고치는 self-augmented training이다.
이 계정은 NVIDIA의 개발자 대상 AI 채널로, research code, model demo, applied AI workflow를 자주 올린다. 이번 글도 단순한 영상 teaser가 아니다. 링크는 research page와 paper로 이어지고, 프로젝트 페이지는 Lyra 2.0을 camera-controlled walkthrough video를 만든 뒤 feed-forward reconstruction으로 3D에 올리는 방법으로 설명한다.
기술 디테일이 중요한 이유
핵심 문제는 consistency다. Text-to-video와 image-to-video system은 짧은 움직임은 그럴듯하게 만들 수 있지만, 긴 scene exploration에서는 camera가 돌아서거나 뒤로 움직이거나 같은 곳을 다시 방문할 때 geometry를 기억해야 한다. NVIDIA는 Lyra 2.0이 generated frame 사이 information routing으로 spatial forgetting을 줄이고, self-augmented training으로 temporal drift를 줄인다고 설명한다. 프로젝트 페이지는 결과물을 3D Gaussian splats와 mesh로 변환하는 예시도 보여 준다.
가장 중요한 부분은 robotics 연결이다. NVIDIA는 생성된 scene을 physics engine으로 export할 수 있고, NVIDIA Isaac Sim에서 robot navigation과 interaction에 쓰는 예시를 제시했다. 이는 image-based world generation이 embodied AI simulation으로 이어질 수 있음을 뜻한다. 이 경우 output은 보기 좋은 walkthrough를 넘어서, agent가 움직이고 인식하고 policy를 시험할 만큼 공간적으로 일관돼야 한다.
다음 관전점은 NVIDIA가 긴 camera path에서 consistency를 stress-test할 수 있을 만큼 code와 evaluation detail을 공개하는지, 그리고 Isaac Sim 사용자가 Lyra scene을 실제 synthetic training environment로 바꿀 수 있는지다. 출처: NVIDIA AI Developer X 게시물 · Lyra 2.0 project page · arXiv paper
Related Articles
NVIDIA는 2026년 3월 16일 robotics, vision AI agents, autonomous vehicles를 위한 training data 생성·증강·평가용 open reference architecture를 발표했다. Microsoft Azure와 Nebius가 이 blueprint를 통합 중이며, NVIDIA는 4월 GitHub 공개를 예고했다.
우주 데이터센터는 아직 미래형 구호에 가깝지만, 우주 inference는 벌써 사업 냄새가 난다. Kepler의 cluster는 10개 위성에 Nvidia Orin 40개를 얹고 고객 18곳을 확보해, space compute를 pitch deck 바깥으로 끌어냈다.
r/MachineLearning의 글과 연결된 benchmark writeup은 RTX 5090의 batched FP32 SGEMM이 비효율적인 cuBLAS 경로를 타며 GPU 계산 자원을 크게 남기고 있다고 주장한다.
Comments (0)
No comments yet. Be the first to comment!