TRL documentation

トレーニングの分散

You are viewing v1.18.1 version. A newer version v1.18.2 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

トレーニングの分散

TRLによるマルチGPUトレーニング

TRLのトレーナーは、PyTorchの分散ランチャーであるtorchrunで起動されます。GPUごとに1つのプロセスが開始されます:

torchrun --nproc_per_node 8 train.py <SCRIPT_ARGS>

trl CLIも内部では同じ処理を行うため、trl sft ...はマシンのすべてのGPUで実行されます。使用するGPU数を減らすには、--nproc_per_nodeを指定してください。

内部では、🤗 AccelerateはGPUごとに1つのモデルを作成します。各プロセスは:

  • 独自のデータバッチを処理します
  • そのバッチの損失と勾配を計算します
  • すべてのGPU間で勾配の更新を共有します

multi gpu

実効バッチサイズは次のように計算されます: Batch Size=per_device_train_batch_size×num_devices×gradient_accumulation_steps \text{Batch Size} = \text{per\_device\_train\_batch\_size} \times \text{num\_devices} \times \text{gradient\_accumulation\_steps}

複数のGPUにスケーリングする際にバッチサイズを一定に保つには、per_device_train_batch_sizeとgradient_accumulation_stepsを適切に更新してください。

例として、これらの設定は同等であり、同じ結果を生成する必要があります。

GPUの数デバイスごとのバッチサイズ勾配蓄積ステップコメント
1321メモリ使用量は高くなる可能性がありますが、トレーニングは高速です
148メモリ使用量は低くなりますが、トレーニングは遅くなります
841マルチGPUで両方の利点を最大限に活用

GPUごとに1つのモデルを配置するとメモリ使用量が高くなるため、大規模モデルやメモリが少ないGPUでは実行できない場合があります。そのような場合は、モデルシャーディング、Zero Redundancy Optimizer、混合精度学習、CPUまたはNVMeへのオフロードなどの最適化を提供するDeepSpeedを活用できます。詳細については、DeepSpeed Integrationガイドを参照してください。

非常に長いシーケンスでの学習については、専用のガイドがあります: 100万トークン超の学習。

マルチノードトレーニング

単一のマシンに十分なGPUがない場合、torchrunは複数のマシン(ノード)にまたがってトレーニングをスケーリングできます。各ノードは、ノードの総数、自身のランク、およびメインノード上のrendezvousエンドポイントを含む同じコマンドを実行します。

オプション1: 手動での起動(非HPC)

各ノードで手動で以下を実行します:

# Node 0 (main node, IP 10.0.0.1)
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 0 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py

# Node 1
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 1 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py

10.0.0.1 を、ランク 0(メイン)ノードの実際の IP アドレスに置き換えてください。

オプション2: SLURM による起動 (HPC クラスタ)

SLURMジョブスケジューラーを使用するクラスターでは、ジョブスクリプト(例: slurm_job.sh)を作成します。

#!/bin/bash
#SBATCH --nodes=2
#SBATCH --gpus-per-node=8
#SBATCH --job-name=trl_multi

MAIN_NODE=$(scontrol show hostnames $SLURM_JOB_NODELIST | head -n 1)
srun torchrun --nnodes 2 --nproc_per_node 8 --node_rank $SLURM_NODEID --rdzv_backend c10d --rdzv_endpoint $MAIN_NODE:29500 train.py

次に、ジョブを送信します:

sbatch slurm_job.sh

srunはノードごとに1つのtorchrunを起動し、それぞれがGPUごとに1つのプロセスを起動します。

SLURMの主要なディレクティブ:

  • --nodes=2: 2つのコンピュートノードを要求します
  • --gpus-per-node=8: ノードごとに8つのGPUを割り当てます(合計16個)
  • --job-name: ジョブキューでの追跡用のラベル

トレーニング設定でdeepspeedを設定することで、マルチノードとDeepSpeedを組み合わせることができます。DeepSpeed統合ガイドを参照してください。

さらに詳しく

Update on GitHub