欢迎来到飞桨分布式技术文档主页

• 欢迎您关注飞桨分布式训练，我们希望能帮助每一个用户走上大规模工业化生产之路！

快速开始

• 1. 整体介绍与内容概览
• 2. 安装Paddle与FleetX
• 3. 静态图分布式训练快速开始
• 4. 动态图分布式训练快速开始
• 5. 使用fleetrun启动分布式任务
• 6. FleetX快速开始
• 7. 使用fleetsub提交集群任务
• 8. 使用公开数据集开始你的任务

数据并行训练

• 1. 使用Fleet进行参数服务器训练
• 2. 使用InMemoryDataset/QueueDataset进行训练
• 3. Collective 同步训练实践
• 4. 自动混合精度练加速分布式训练
• 5. 使用超大Batch进行训练
• 6. 使用LARS / LAMB 优化分布式超大batch 训练

模型并行与流水线并行

• 1. 使用模型并行进行训练
• 2. 使用流水线并行进行训练

云端训练实践

• 1. 低频通信参数服务器训练算法
• 2. EDL 服务型弹性蒸馏
• 3. 优化低配网络的分布式GPU训练

飞桨分布式训练性能基准

• 1. GPU多机多卡性能基线
• 2. 参数服务器训练性能基线

分布式训练FAQ

• 1. 用户FAQ

---

FleetX使用Apache License 2.0开源协议