TRL documentation
Tutoriais da Comunidade
Primeiros passos
Guias conceituais
Trainers
Guias de como fazer
Interface de Linha de Comando (CLI)Treinamento usando JobsPersonalizando o TreinamentoReduzindo o uso de memóriaAcelerando o TreinamentoDistribuindo o TreinamentoTreinamento no AWS TrainiumTreinamento em GPUs AMDTreinamento além de 1M de tokensUsando modelos treinados
Integrações
Exemplos
API
Experimental
You are viewing v1.18.1 version. A newer version v1.18.2 is available.
Tutoriais da Comunidade
Os tutoriais da comunidade são criados por membros ativos da comunidade do Hugging Face que desejam compartilhar seu conhecimento e experiência com outros. Eles são uma ótima maneira de aprender sobre a biblioteca e seus recursos, e de começar a trabalhar com as classes e modalidades principais.
Modelos de Linguagem
Tutoriais
| Tarefa | Classe | Descrição | Autor | Tutorial | Colab |
|---|---|---|---|---|---|
| Aprendizado por Reforço | GRPOTrainer | Treinamento online eficiente com GRPO e vLLM no TRL | Sergio Paniego | Link | |
| Aprendizado por Reforço | GRPOTrainer | Treinamento pós-LLM para raciocínio com GRPO no TRL | Sergio Paniego | Link | |
| Aprendizado por Reforço | GRPOTrainer | Mini-R1: Reproduza o “momento aha” do Deepseek R1, um tutorial de RL | Philipp Schmid | Link | |
| Aprendizado por Reforço | GRPOTrainer | RL no LLaMA 3.1-8B com GRPO e otimizações do Unsloth | Andrea Manzoni | Link | |
| Ajuste de instruções | SFTTrainer | Ajuste fino de LLMs Google Gemma usando o formato ChatML com QLoRA | Philipp Schmid | Link | |
| Geração Estruturada | SFTTrainer | Fine-tuning do Llama-2-7B para gerar catálogos de produtos em persa em JSON usando QLoRA e PEFT | Mohammadreza Esmaeilian | Link | |
| Otimização de Preferência | DPOTrainer | Alinhe o Mistral-7b usando Direct Preference Optimization para alinhamento às preferências humanas | Maxime Labonne | Link | |
| Otimização de Preferência | experimental.orpo.ORPOTrainer | Ajuste fino do Llama 3 com ORPO combinando ajuste de instruções e alinhamento de preferências | Maxime Labonne | Link | |
| Ajuste de instruções | SFTTrainer | Como fazer o ajuste fino de LLMs abertos em 2025 com Hugging Face | Philipp Schmid | Link | |
| Raciocínio em nível de etapa | GRPOTrainer | Aprendizado por Reforço Supervisionado (SRL) para raciocínio passo a passo com vLLM | Deepak Swaminathan | Link |
Vídeos
| Tarefa | Título | Autor | Vídeo |
|---|---|---|---|
| Ajuste de instruções | Ajuste fino de modelos de IA abertos usando Hugging Face TRL | Wietse Venema | ![]() |
| Ajuste de instruções | Como fazer o fine-tuning de um smol-LM com Hugging Face, TRL e o Dataset smoltalk | Mayurji | ![]() |
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)
O tutorial utiliza dois recursos obsoletos:
SFTTrainer(..., tokenizer=tokenizer): UseSFTTrainer(..., processing_class=tokenizer)em vez disso, ou simplesmente omita (será inferido a partir do modelo).setup_chat_format(model, tokenizer): UseSFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), em quechat_template_pathespecifica o modelo cujo template de chat você deseja copiar.
Modelos de Visão e Linguagem
Tutoriais
| Tarefa | Classe | Descrição | Autor | Tutorial | Colab |
|---|---|---|---|---|---|
| QA visual | SFTTrainer | Fine-tuning do Qwen2-VL-7B para visual question answering no dataset ChartQA | Sergio Paniego | Link | |
| QA visual | SFTTrainer | Fine-tuning do SmolVLM com TRL em uma GPU de consumo | Sergio Paniego | Link | |
| Descrição de SEO | SFTTrainer | Ajuste fino do Qwen2-VL-7B para gerar descrições amigáveis para SEO a partir de imagens | Philipp Schmid | Link | |
| QA visual | DPOTrainer | PaliGemma 🤝 Direct Preference Optimization | Merve Noyan | Link | |
| QA visual | DPOTrainer | Fine-tuning do SmolVLM usando otimização de preferência direta (DPO) com TRL em uma GPU de consumo | Sergio Paniego | Link | |
| Detecção de Objetos com Ancoragem | SFTTrainer | Ajuste fino de um VLM para Localização de Objetos usando TRL | Sergio Paniego | Link | |
| QA visual | DPOTrainer | Ajuste fino de um modelo de linguagem visual com TRL usando MPO | Sergio Paniego | Link | |
| Aprendizado por Reforço | GRPOTrainer | Treinamento pós-um VLM para raciocínio com GRPO usando TRL | Sergio Paniego | Link |
Modelos de linguagem de fala
Tutoriais
| Tarefa | Classe | Descrição | Autor | Tutorial |
|---|---|---|---|---|
| Texto para Fala | GRPOTrainer | Treinamento pós-treino de um modelo de linguagem de fala com GRPO usando TRL | Steven Zheng | Link |
Contribuindo
Se você tem um tutorial que gostaria de adicionar a esta lista, abra um PR para incluí-lo. Faremos a revisão e o mesclaremos se for relevante para a comunidade.
Update on GitHub
