RAD-2, closed-loop 주행 test에서 collision rate 56% 낮췄다
Original: RAD-2: Scaling Reinforcement Learning in a Generator-Discriminator Framework View original →
Autonomous-driving planner는 그럴듯한 trajectory를 그리는지만으로 평가되지 않는다. 차량이 실제로 하나를 선택한 뒤 무슨 일이 벌어지는지가 핵심이다. RAD-2가 눈에 띄는 이유는 diffusion-based planning을 imitation learning에만 맡기지 않고 closed-loop feedback 쪽으로 더 밀어 넣었기 때문이다.
arXiv 논문은 2026년 4월 16일 17:59:44 UTC에 제출됐다. 출발점은 high-level autonomous driving의 실용적인 약점이다. diffusion planner는 여러 가능한 미래를 모델링하는 데 강하지만, 순수 demonstration 기반 training에서는 stochastic instability와 corrective negative feedback 부족이 생길 수 있다고 논문은 지적한다.
RAD-2의 답은 generator-discriminator framework다. diffusion generator가 다양한 trajectory candidates를 만들고, RL-optimized discriminator가 long-term driving quality에 따라 후보를 다시 순위화한다. 핵심은 분리다. sparse scalar reward를 high-dimensional trajectory space 전체에 직접 밀어 넣기보다, discriminator가 closed-loop outcome을 더 다루기 쉬운 selection signal로 바꾼다.
논문은 이 구조 주변에 두 가지 training 요소를 붙였다. Temporally Consistent Group Relative Policy Optimization은 temporal coherence를 활용해 reinforcement learning의 credit assignment 문제를 줄이려는 장치다. On-policy Generator Optimization은 closed-loop feedback을 structured longitudinal optimization signal로 바꿔 generator가 high-reward trajectory 쪽으로 이동하도록 만든다. 여기에 BEV-Warp라는 high-throughput simulation environment도 제시했다. 이 환경은 Bird's-Eye View feature space에서 spatial warping으로 closed-loop evaluation을 수행한다.
가장 큰 숫자는 collision rate 56% 감소다. 저자들은 RAD-2가 strong diffusion-based planners와 비교해 collision rate를 56% 낮췄다고 보고했다. 또 complex urban traffic에서 real-world deployment를 통해 perceived safety와 driving smoothness가 좋아졌다고 썼다. offline benchmark만 제시한 연구보다 더 강한 주장이다.
자율주행 stack에서 볼 지점은 분명하다. generator-discriminator planning이 diffusion의 diverse trajectory 장점을 유지하면서 deployment-like feedback에서 오는 correction을 얼마나 안정적으로 붙일 수 있느냐다. 다음 검증 포인트는 BEV-Warp와 project artifacts가 다른 팀의 closed-loop reproduction에서도 같은 폭의 개선을 보이는지다.
Related Articles
Google Quantum AI는 Willow processor에서 reinforcement learning이 drift 중에도 control parameter를 조정하도록 만들었습니다. 실험 결과 error-correcting code의 logical stability가 3.5배 개선됐고, expert calibration 뒤에도 logical error rate가 20% 더 낮아졌습니다.
Google Research가 diffusion model이 학습 데이터를 베끼지 않고 새 샘플을 만드는 이유를 score smoothing으로 설명했다. ICLR 2026 논문과 코드가 함께 공개돼, 생성형 AI의 memorization 논쟁을 더 정밀하게 다룰 근거가 생겼다.
평가용으로 안전장치를 낮춘 모델이 Hugging Face 보안 사고와 연결됐다는 공개 설명에 관심이 모였다. 논점은 단순한 침해 사실보다, cyber benchmark가 실제 인프라와 만날 때 통제 경계가 어디까지 버티는가다.