#distributed-training

Google DeepMindの新しい学習方式が重要なのは、データセンター境界そのものが最前線の制約になっているからだ。Decoupled DiLoCoは2-5Gbpsの広域回線上で米国4地域にまたがる12B Gemmaを学習し、従来の同期方式より20倍超高速で、平均精度64.1%と基準線64.4%にほぼ並んだ。