FleetX
latest
分布式训练概述
整体介绍与内容概览
如何设计分布式训练的搭建方案
公有云配置
Kubernetes 部署
安装Paddle
前置基础配置
优化算法
配置分布式训练
Collective训练
1. 快速开始
2. 性能基准
3. 设计综述
4. 性能优化
5. 大模型训练优化
5.1. Forward Recomputation Backpropagation
5.2. Gradient Merge
5.3. 使用LARS / LAMB 优化分布式超大batch 训练
5.4. 飞桨大规模分类库使用介绍
5.5. 使用Sharding 训练超大模型
5.6. 流水线并行
6. 二次开发
7. 整体示例
ParameterServer训练
高阶内容
大规模蒸馏
自监督训练
弹性训练
FleetX扩展工具包
分布式训练FAQ
用户FAQ
FleetX
»
Collective训练
»
5. 大模型训练优化
Edit on GitHub
5. 大模型训练优化
¶
大模型训练优化
¶
5.1. Forward Recomputation Backpropagation
5.2. Gradient Merge
5.3. 使用LARS / LAMB 优化分布式超大batch 训练
5.4. 飞桨大规模分类库使用介绍
5.5. 使用Sharding 训练超大模型
5.6. 流水线并行
Read the Docs
v: latest
Versions
latest
stable
Downloads
pdf
html
epub
On Read the Docs
Project Home
Builds