# TRL - Transformers による強化学習

TRLはフルスタックのライブラリであり、Supervised Fine-Tuning (SFT)、Group Relative Policy Optimization (GRPO)、Direct Preference Optimization (DPO)、Reward Modelingなどの手法を用いてtransformer言語モデルを訓練するためのツールセットを提供しています。このライブラリは🤗 [transformers](https://github.com/huggingface/transformers)と統合されています。

## 🎉 新着情報

**⚡ AsyncGRPOTrainer が安定版になりました:** [AsyncGRPOTrainer](/docs/trl/v1.18.1/ja/async_grpo_trainer#trl.AsyncGRPOTrainer) が安定版 API に昇格しました。生成と学習を分離することで、GRPO の実行を大幅に高速化します。vLLM サーバーがロールアウトをストリーミングで配信する間、トレーナーがモデルを更新します。

## 分類

以下は、TRLのトレーナーを成熟度と手法の種類別に整理した概要です。

#### オンライン手法

- [`AsyncGRPOTrainer`](async_grpo_trainer)
- [`GRPOTrainer`](grpo_trainer)
- [`RLOOTrainer`](rloo_trainer)

#### 報酬モデリング

- [`RewardTrainer`](reward_trainer)

#### オフライン手法

- [`SFTTrainer`](sft_trainer)
- [`DPOTrainer`](dpo_trainer)
- [`KTOTrainer`](kto_trainer)

#### 知識蒸留

- [`DistillationTrainer`](distillation_trainer)

### 実験的

#### オンライン手法

- [`A2POTrainer`](a2po_trainer)
- [`GMPOTrainer`](gmpo)
- [`OnlineDPOTrainer`](online_dpo_trainer)

#### オフライン手法

- [参照モデル用のBEMA](bema_for_reference_model)
- [`CPOTrainer`](cpo_trainer)
- [`ORPOTrainer`](orpo_trainer)

#### 知識蒸留

- [`AsyncDistillationTrainer`](async_distillation_trainer)
- [`GKDTrainer`](gkd_trainer)
- [`GOLDTrainer`](gold_trainer)
- [`IWOPDTrainer`](iw_opd_trainer)
- [`SDFTTrainer`](sdft_trainer)
- [`SDPOTrainer`](sdpo_trainer)

[TRL Hugging Face organization](https://huggingface.co/trl-lib)で、TRL関連のモデル、データセット、デモも探索できます。

## 学習

🤗 [smol course](https://github.com/huggingface/smol-course)で、TRLやその他のライブラリを使ったポストトレーニングを学びましょう。

## 目次

ドキュメントは以下のセクションに構成されています:

- **はじめる**: インストールとクイックスタートガイド。
- **コンセプトガイド**: データセットの形式、学習に関する FAQ、ログの理解。
- **ハウツーガイド**: メモリ使用量の削減、トレーニングの高速化、トレーニングの分散化など
- **統合**: DeepSpeed、PEFT など
- **例**: 例の概要、コミュニティのチュートリアルなど。
- **API**：トレーナー、ユーティリティなど

## ブログ記事

  
    
      
      2026年5月27日公開 Hub Bucketで1兆パラメータを配信する：TRLにおけるDelta Weight Sync
    
    
      
      2026年3月31日公開 TRL v1: 分野が自らの前提を無効化する状況でも通用するポストトレーニングライブラリ
    
    
      
      2026年3月10日公開 トークンの流れを止めない：16のオープンソースRLライブラリから得た教訓
    
    
      
      2026年3月9日公開 Ulysses Sequence Parallelism: 百万トークンコンテキストでの学習
    
    
      
      2025年10月23日公開 共にオープンなエージェントエコシステムを構築する：OpenEnvの紹介
    
    
      
      2025年8月7日公開 TRLにおけるビジョン言語モデルのアライメント ⚡️
    
    
      
      2025年6月3日公開 NO GPU left behind: TRLにおけるCo-located vLLMによる効率性の解錠
    
    
      
      2025年5月25日公開 🐯 Liger GRPOとTRLの出会い
    
    
      
      2025年1月28日公開 Open-R1: DeepSeek-R1の完全オープンな再現
    
    
      
      2024年7月10日公開 TRLによるビジョン言語モデルのPreference Optimization
    
    
      
      2024年6月12日公開 RLHFにRLを取り戻す
    
    
      
      2024年1月10日公開 Unslothと🤗 TRLでLLMのファインチューニングを2倍速く
    
    
      
      2023年9月29日公開 TRLによるDDPOを用いたStable Diffusionモデルのファインチューニング
    
    
      
      2023年8月8日公開 DPOによるLlama 2のファインチューニング
    
    
      
      2023年4月5日公開 StackLLaMA: RLHFでLLaMAを訓練するための実践ガイド
   
    
      
      2023年3月9日公開 24GBのコンシューマーGPUでRLHFによる20B LLMのファインチューニング
    
    
      
      2022年12月9日公開 人間のフィードバックによる強化学習の図解
    
  

## トーク

  
    
      
      2025年10月30日に発表されたトークン: TRLによるファインチューニング
    
  

