r/singularity가 밀어올린 LATENT, humanoid tennis를 5시간 imperfect motion data로 학습

왜 이 robotics 논문이 r/singularity에서 크게 퍼졌나

2026년 3월 15일, LATENT를 다룬 r/singularity 글은 3,150 points와 376 comments를 모았다. 겉으로는 “약 90% hit rate”가 눈길을 끌었지만, 더 중요한 이유는 athletic humanoid learning의 핵심 병목인 data collection을 정면으로 건드렸기 때문이다. 논문이 설명하듯 tennis는 로봇에게 매우 가혹한 과제다. 인간 선수는 6 m/s를 넘는 속도로 움직이고, 15-30 m/s로 날아오는 ball에 반응하며, 공과 racket이 닿는 시간은 수 밀리초에 불과하다.

연구팀은 완전한 경기 수준 motion capture에 의존하지 않았다. 대신 five amateur players에게서 primitive tennis skill만 수집했고, 총 five hours의 motion data를 편집이나 주석 없이 사용했다고 설명한다. 캡처 공간도 3m x 5m로, full-size tennis court보다 17x 이상 작다. 이 차이는 크다. 스포츠형 humanoid dataset 구축 비용 자체를 바꾸기 때문이다. LATENT의 핵심 주장은, 불완전한 motion fragment라도 footwork와 stroke primitive에 관한 충분한 prior를 담고 있으며, correction과 composition을 거치면 유의미한 policy를 만들 수 있다는 것이다.

기술적으로 무엇을 더했나

LATENT는 자연스러운 humanoid motion을 표현하는 latent action space 위에 계층형 제어를 올리고, high-level policy가 primitive를 correction과 composition을 통해 tennis return task에 맞게 쓰도록 학습한다. 논문은 실제 하드웨어에 붙이기 위한 요소도 강조한다. racket contact 정확도를 위한 wrist-level correction, reinforcement learning이 부자연한 동작으로 새는 것을 막는 latent action barrier, 그리고 dynamics randomization, observation noise, ball velocity 추정을 위한 sliding window 같은 sim-to-real 장치들이다. 실기기는 standard tennis racket을 장착한 29-DoF Unitree G1이다.

공개된 결과

시뮬레이션 수치는 강하다. forehand/backhand와 forecourt/backcourt를 조합한 네 설정에서, 논문은 10,000회 평가 기준 성공률이 82.10%에서 96.52%까지 나온다고 보고한다. 실제 환경에서는 수치가 더 낮지만 여전히 눈에 띈다. 20회의 연속 human-robot rally 평가에서 설정에 따라 77.78%에서 90.90%의 성공률을 기록했다고 적었다. 시뮬레이션 robot-robot self-play에서는 최대 25 consecutive rallies도 보고한다.

그래서 이 Reddit 글이 의미 있었다. LATENT는 단순히 humanoid가 공을 받아치는 멋진 데모가 아니다. 더 값싼 불완전 data만으로도 athletic robot skill을 배울 수 있을지 묻는 연구다. 이 발상이 tennis 밖으로 일반화된다면, soccer나 parkour 같은 고동적 humanoid task에서도 “완벽한 dataset이 먼저 필요하다”는 전제를 약하게 만들 수 있다.

원문: project page, arXiv paper. 커뮤니티 토론: r/singularity.