017_分布式机器学习

[源码解析] 深度学习流水线并行 PipeDream(6)— 1F1B策略

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段，运行时引擎和 […]

[源码解析] 深度学习流水线并行 PipeDream(5)— 通信模块

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段和运行时引擎， […]

[源码解析] 深度学习流水线并行 PipeDream(4)— 运行时引擎

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段和模型转换阶段，本文我们介绍 […]

[源码解析] 深度学习流水线并行 PipeDream(2)— 计算分区

在前文中，我们介绍了PipeDream的总体架构和Profile阶段，本文我们继续介绍计算分区阶段。 [源码解 […]

[源码解析] 深度学习流水线并行 GPipe(3) —-重计算

GPipe是一个基于 Google Brain 开发的，支持超大规模模型的神经网络训练并行库，本文介绍其重计算 […]

[源码解析] 深度学习流水线并行GPipe (2) —– 梯度累积

梯度累积是一种增大训练时 batch size的技术，在本地使用 micro-batch 多次进行正向和反向传 […]

[源码解析] PyTorch 分布式(2) — 数据加载之DataLoader

为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角 […]

[源码解析] PyTorch 分布式(1) — 数据加载之DistributedSampler

为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载（因为字数太长，所以 […]

[源码解析] 深度学习分布式训练框架 horovod (17) — 弹性训练之容错

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

[源码解析] 深度学习分布式训练框架 horovod (13) — 弹性训练之 Driver

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

[源码解析] 深度学习分布式训练框架 horovod (11) — on spark — GLOO 方案

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

1 2 3 4 5 … 10 Next »