FleetX
stable
快速开始
1. 整体介绍与内容概览
2. 安装Paddle与FleetX
3. 静态图分布式训练快速开始
4. 动态图分布式训练快速开始
5. 使用fleetrun启动分布式任务
6. FleetX快速开始
7. 使用fleetsub提交集群任务
8. 使用公开数据集开始你的任务
数据并行训练
1. 使用Fleet进行参数服务器训练
2. 使用InMemoryDataset/QueueDataset进行训练
3. Collective 同步训练实践
4. 自动混合精度练加速分布式训练
5. 使用超大Batch进行训练
6. 使用LARS / LAMB 优化分布式超大batch 训练
模型并行与流水线并行
1. 使用模型并行进行训练
2. 使用流水线并行进行训练
云端训练实践
1. 低频通信参数服务器训练算法
2. EDL 服务型弹性蒸馏
3. 优化低配网络的分布式GPU训练
飞桨分布式训练性能基准
1. GPU多机多卡性能基线
2. 参数服务器训练性能基线
分布式训练FAQ
1. 用户FAQ
FleetX
»
1. 使用模型并行进行训练
Edit on GitHub
1. 使用模型并行进行训练
¶
-TBA