# クイックスタート

TRLは、Supervised Fine-Tuning (SFT)、Group Relative Policy Optimization (GRPO)、Direct Preference Optimization (DPO)などの手法を用いて基盤モデルのポストトレーニングを行うための包括的なライブラリです。

## クイックな例

TRLの最も人気のあるトレーナーで、すぐに始めましょう。各例では、迅速な実験のためにコンパクトなモデルを使用しています。

### 教師ありファインチューニング

```python
from trl import SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()
```

### グループ相対方策最適化

`accuracy_reward`にはmath-verifyが必要です。`pip install trl[math_verify]`でインストールできます。

```python
from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
    reward_funcs=accuracy_reward,
)
trainer.train()
```

### Direct Preference Optimization

```python
from trl import DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()
```

### 報酬モデリング

```python
from trl import RewardTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = RewardTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()
```

## コマンドラインインターフェース

コードを完全にスキップして、ターミナルから直接トレーニングを実行します:

```bash
# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara

# DPO: Align with preferences  
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized
```

## 次に何をするか？

### 📚 詳細

- [SFT Trainer](sft_trainer) - SFT完全ガイド
- [DPO Trainer](dpo_trainer) - 嗜好の整合
- [GRPO Trainer](grpo_trainer) - グループ相対ポリシー最適化

### 🚀 スケールアップ

- [分散学習](distributing_training) - マルチGPU構成
- [メモリ最適化](reducing_memory_usage) - 効率的な学習
- [PEFT 統合](peft_integration) - LoRA と QLoRA

### 💡 例

- [サンプルスクリプト](https://github.com/huggingface/trl/tree/main/examples) - 本番環境で利用可能なコード
- [コミュニティ製チュートリアル](community_tutorials) - 外部ガイド

## トラブルシューティング

### メモリ不足？

バッチサイズを縮小し、最適化を有効にします:

```python
training_args = SFTConfig(
    per_device_train_batch_size=1,  # Start small
    gradient_accumulation_steps=8,  # Maintain effective batch size
)
```

```python
training_args = DPOConfig(
    per_device_train_batch_size=1,  # Start small
    gradient_accumulation_steps=8,  # Maintain effective batch size
)
```

```python
training_args = GRPOConfig(
    per_device_train_batch_size=1,  # Start small
    gradient_accumulation_steps=8,  # Maintain effective batch size
    num_generations=4,              # Reduce from default 8 (GRPO generates num_generations completions per prompt)
    max_completion_length=512,      # Tune based on task; longer sequences cost more memory
)
```

### 損失が減少しない場合

学習率を調整してみてください:

```python
training_args = SFTConfig(learning_rate=2e-5)  # Good starting point
```

さらにサポートが必要な場合は、[GitHubでissue](https://github.com/huggingface/trl/issues)を開いてください。

