017_分布式机器学习

[源码解析] 深度学习流水线并行 PipeDream(6)— 1F1B策略

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段，运行时引擎和 […]

[源码解析] 深度学习流水线并行 PipeDream(5)— 通信模块

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段和运行时引擎， […]

[源码解析] 深度学习流水线并行 PipeDream(4)— 运行时引擎

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段和模型转换阶段，本文我们介绍 […]

[源码解析] 深度学习流水线并行 PipeDream(2)— 计算分区

在前文中，我们介绍了PipeDream的总体架构和Profile阶段，本文我们继续介绍计算分区阶段。 [源码解 […]

[源码解析] 深度学习流水线并行 GPipe(3) —-重计算

GPipe是一个基于 Google Brain 开发的，支持超大规模模型的神经网络训练并行库，本文介绍其重计算 […]

[源码解析] 深度学习流水线并行GPipe (2) —– 梯度累积

梯度累积是一种增大训练时 batch size的技术，在本地使用 micro-batch 多次进行正向和反向传 […]

[源码解析] PyTorch 分布式(2) — 数据加载之DataLoader

为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角 […]

[源码解析] PyTorch 分布式(1) — 数据加载之DistributedSampler

为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载（因为字数太长，所以 […]

[源码解析] 深度学习分布式训练框架 horovod (17) — 弹性训练之容错

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

[源码解析] 深度学习分布式训练框架 horovod (13) — 弹性训练之 Driver

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

[源码解析] 深度学习分布式训练框架 horovod (11) — on spark — GLOO 方案

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

热门专题

哪吒票房逼近30亿，从豆瓣短评简单分析人们对哪吒的态度
社会工程学框架
隐藏真实Url
打造自己的Html文本编辑控件良村
(本人亲测有效)
20道Java实习生笔试面试选择题（内附答案解析）
关于网站子目录绑定二级域名的方法
springboot2.1
网站性能测试工具--MS
httpURLConnect
前端页面引用百度地图
Hibernate各种查询方式及查询策略(转）
字符串匹配
初体验Google
两翼轮播
内存泄露
电子商务平台中不可或缺的一环：详谈智能签章技术方案
基于Zcanpro进行硬件测试流程
联想笔记本如何安装固态硬盘-联想G50-80如何安装固态硬盘
三角函数学习笔记
[转]类似酷我音乐盒设计小总结
博客园设置黑客帝国背景和小女孩插件