精选

Google DeepMind 发布 Decoupled DiLoCo 架构，实现低带宽抗故障的跨数据中心训练

Google DeepMind 发布新的分布式训练架构 Decoupled DiLoCo，通过解耦计算岛实现跨数据中心低带宽训练，并在硬件故障时隔离影响继续训练。该架构在 120 亿参数模型上跨美国四个区域以 2-5 Gbps 网络训练成功，速度比传统同步方法快 20 倍以上，并支持混合不同代际硬件（如 TPU v6e 和 v5p）。