FleetX
latest

分布式训练概述

  • 整体介绍与内容概览

如何设计分布式训练的搭建方案

  • 公有云配置
  • Kubernetes 部署
  • 安装Paddle

前置基础配置

  • 优化算法

配置分布式训练

  • Collective训练
    • 1. 快速开始
    • 2. 性能基准
    • 3. 设计综述
    • 4. 性能优化
    • 5. 大模型训练优化
      • 5.1. Forward Recomputation Backpropagation
      • 5.2. Gradient Merge
      • 5.3. 使用LARS / LAMB 优化分布式超大batch 训练
      • 5.4. 飞桨大规模分类库使用介绍
      • 5.5. 使用Sharding 训练超大模型
      • 5.6. 流水线并行
    • 6. 二次开发
    • 7. 整体示例
  • ParameterServer训练

高阶内容

  • 大规模蒸馏
  • 自监督训练
  • 弹性训练
  • FleetX扩展工具包

分布式训练FAQ

  • 用户FAQ
FleetX
  • »
  • Collective训练 »
  • 5. 大模型训练优化
  • Edit on GitHub

5. 大模型训练优化¶

大模型训练优化¶

  • 5.1. Forward Recomputation Backpropagation
  • 5.2. Gradient Merge
  • 5.3. 使用LARS / LAMB 优化分布式超大batch 训练
  • 5.4. 飞桨大规模分类库使用介绍
  • 5.5. 使用Sharding 训练超大模型
  • 5.6. 流水线并行
Next Previous

© 版权所有 2020, PaddlePaddle. Revision fb2531d5.

Built with Sphinx using a theme provided by Read the Docs.