#distributed-systems

DeepMind의 새 DiLoCo 변형은 느린 learner 하나가 전체 사전학습을 붙잡는 문제를 겨냥한다. 논문 초록은 수백만 개 칩을 시뮬레이션한 장애 환경에서도 전역 다운타임 0과 경쟁력 있는 모델 성능을 함께 내세웠다.

HN이 이 글에 반응한 이유는 벤치마크보다도 현업의 체감과 맞아떨어졌기 때문이다. 멀티에이전트 코딩의 병목은 모델 IQ보다 조정과 합의에 가깝다는 주장에 엔지니어들이 바로 자기 경험을 얹었다.