#distributed-systems

遠隔データセンターをまたぐ学習は、同期コストと障害の連鎖で急に重くなる。DeepMindはDecoupled DiLoCoによって、8データセンター構成で必要帯域を198 Gbpsから0.84 Gbpsまで下げつつ、平均ML精度64.1%を維持したとしている。

HNで刺さったのは、マルチエージェントcodingの詰まりどころはmodel IQではなくcoordinationだ、という整理だった。仕事を複数agentに割った瞬間、昔からのdistributed systemsの語彙がそのまま戻ってくる。