사진 한 장 밖의 공간까지 생성, World Labs Atlas의 3D 문법

World Labs의 Atlas는 text, image, video, 3D를 하나의 spatial context에서 다루는 world model이다. 한 장 또는 여러 장의 참고 이미지와 camera pose를 입력하면 새로운 시점의 frame을 만들고, 최대 1분 길이의 1440p video를 지정한 camera path에 맞춰 생성한다. 보지 못한 영역은 학습한 세계 지식으로 채우며, 입력 이미지가 늘어날수록 상상보다 실제 장면 복원에 무게를 둔다.

camera를 말로 설명하지 않는다

일반 video model은 “왼쪽으로 pan” 같은 text prompt로 움직임을 지시한다. Atlas는 camera geometry 자체를 native input으로 받는다. 각 image가 3D 공간의 위치에 고정되고, model은 그 관계를 context로 사용한다. 서로 무관한 두 이미지를 공간의 양 끝에 배치하면 그 사이를 연결하는 복도나 문, 구석을 생성할 수도 있다. 제작자가 매 장면의 시점과 이동 경로를 직접 설계하는 방식이다.

공간 복원에서는 한 장의 image로 새 시점과 geometry를 함께 예측한다. video를 넣으면 frame마다 depth를 추정해 point cloud를 만들고, 빈 곳을 채운 뒤 on-device rendering이 가능한 3D Gaussian splat으로 바꾼다. 회사 측 평가에서는 sparse-view 3D reconstruction과 camera-conditioned generation 모두 전문 model보다 나은 결과를 냈다. 다만 비교 대상 video model은 native camera 입력을 지원하지 않아 text로 경로를 전달했다는 조건을 함께 봐야 한다.

로봇 simulation이 겨냥하는 것

Atlas는 휴대전화 video에서 공간을 복원하고, 가상 robot이 그 안을 이동할 때 body camera가 볼 RGB와 depth를 생성한다. 공개 예시는 24개 frame으로 큰 환경 두 곳을 구성했다. manipulation에서는 물체 종류와 위치, 조명, 배경, robot motion을 바꿔 다양한 training data와 test environment를 만든다. 고가의 scan 장비 없이 실제 공간을 simulation으로 옮기는 Real-to-Sim 비용을 낮추려는 시도다.

커뮤니티에서는 생성된 view보다 model 내부의 semantic knowledge를 꺼내 쓸 수 있는지가 더 중요한 질문으로 떠올랐다. 바닥처럼 이어지는 영역을 채울 수 있다면 “걸을 수 있는 공간”이라는 표현도 latent space에 있을 가능성이 있다. 이를 별도 point-cloud classifier에 다시 넣기보다 robot path planning에 직접 연결할 수 있느냐는 지적이다. 반대로 시연 영상에서 물체가 나타났다 사라지는 불일치와 정확한 실측 치수 보존 여부는 아직 확인할 과제다.

기술 구조는 autoregressive transformer와 latent diffusion을 결합한다. 앞부분은 KV cache와 cache-aware routing 같은 LLM serving 기법을 활용할 수 있고, 뒷부분은 diffusion distillation과 classifier-free guidance를 쓴다. 서로 다른 modality를 별도 도구로 이어 붙이기보다 처음부터 같은 공간 context에서 사전학습한 것이 설계의 중심이다.

Atlas는 현재 일부 partner 대상 early access 단계다. 공개 자료는 회사가 고른 사례와 자체 평가가 중심이므로 실제 제품 환경의 지연 시간, 비용, geometry 정확도는 더 검증해야 한다. 그래도 image 생성, 3D 복원, robot simulation을 한 model 안에서 연결한 점은 world model이라는 모호한 용어에 구체적인 작업 단위를 부여한다.

원문 보기