TRL documentation
Тренер дистилляции
Тренер дистилляции
Обзор
Distillation Trainer реализует on-policy дистилляцию знаний, описанную в статье On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes авторов Rishabh Agarwal, Nino Vieillard, Yongchao Zhou, Piotr Stanczyk, Sabela Ramos, Matthieu Geist и Olivier Bachem.
Аннотация из статьи следующая:
Метод дистилляции знаний (KD) широко применяется для сжатия модели-учителя с целью снижения затрат на инференс и потребления памяти путём обучения более компактной модели-ученика. Однако современные методы KD для авторегрессионных последовательных моделей страдают от рассогласования распределений между выходными последовательностями, на которых обучается модель, и теми, которые генерирует ученик во время инференса. Для решения этой проблемы мы предлагаем Generalized Knowledge Distillation (GKD). Вместо того чтобы полагаться исключительно на фиксированный набор выходных последовательностей, GKD обучает ученика на его собственных сгенерированных выходных последовательностях, используя обратную связь от учителя по таким последовательностям. В отличие от методов KD с учителем (supervised KD), GKD также обеспечивает гибкость в использовании альтернативных функций потерь между учеником и учителем, что может быть полезно, когда ученик не обладает достаточной выразительностью, чтобы имитировать распределение учителя.
DistillationTrainer обучает более маленькую модель-ученика соответствовать распределению следующего токена учителя на собственных on-policy генерациях ученика. Он генерирует завершения ученика on-policy (опционально с использованием vLLM) и сопоставляет их с учителем по полному распределению следующего токена с помощью энергоэффективной кусковой функции потерь на основе дивергенции Йенсена-Шеннона, благодаря чему плотное распределение учителя никогда не материализуется целиком.
Этот тренажёр был предложен Carlos Miguel Patiño.
Для асинхронного аналога, который отделяет генерацию от обучения и оценивает результаты по учителю, обслуживаемому через HTTP, а не по локальному прямому пропуску, см. AsyncDistillationTrainer.
Быстрый старт
В этом примере показано, как обучать модель с использованием метода дистилляции. Мы дистиллируем модель Qwen 2.5 0.5B Instruct из учителя Qwen 2.5 1.5B Instruct на промптах из набора данных UltraFeedback prompt dataset. Данные из набора можно посмотреть здесь:
Ниже приведён скрипт для обучения модели.
# train_distillation.py
from datasets import load_dataset
from trl import DistillationTrainer
dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
trainer = DistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Выполните скрипт с помощью следующей команды:
torchrun --nproc_per_node 8 train_distillation.py
Более подробный обзор метода дистилляции
Он-полити дистилляция знаний обучает ученика воспроизводить распределение следующего токена учителя на завершениях, которые генерирует сам ученик, а не на фиксированном наборе выходов учителя. Обучение на собственных генерациях позволяет ученику исправлять собственные ошибки, что, как правило, даёт лучшие результаты, чем офф-полити дистилляция. В этом разделе подробно описано, как это работает на практике, с акцентом на два ключевых шага: генерация завершений и вычисление функции потерь.
Генерация завершений
На каждом шаге обучения студент генерирует пакет завершений для выбранных промптов.
Вычисление функции потерь
Потеря представляет собой обобщённую дивергенцию Йенсена-Шеннона (JSD) между распределением ученика и распределением учителя по сгенерированным токенам завершения, интерполированную с помощью beta и заданную следующим образом:
где — это --смесь двух распределений. На концах интервала выражение сводится к чистым расхождениям: beta=0.0 даёт прямое расхождение а beta=1.0 обратное расхождение .
На практике проекция в логиты словаря и расхождение вычисляются по частям, поэтому пиковая память активаций не масштабируется с полным тензором логитов размера «словарь × длина последовательности». См. Снижение использования памяти.
Ожидаемый тип набора данных
Набор данных должен быть оформлен как диалоговый только с промптами. Студент генерирует собственные завершения on-policy, поэтому нужны только промпты:
{"prompt": [{"role": "user", "content": "What color is the sky?"}]}Записываемые метрики
Во время обучения и оценки мы фиксируем следующие метрики:
num_tokens: общее количество обработанных на данный момент токенов, включая как промпты, так и завершения. При использовании инструментов учитываются только нетуловые токены.step_time: среднее время (в секундах), затрачиваемое на один шаг обучения (включая генерацию).completions/mean_length: средняя длина сгенерированных завершений. При использовании инструментов учитываются только токены, не относящиеся к инструментам.completions/min_length: минимальная длина генерируемых завершений. При использовании инструментов учитываются только токены, не относящиеся к инструментам.completions/max_length: максимальная длина генерируемых дополнений. При использовании инструментов учитываются только токены, не относящиеся к инструментам.completions/mean_terminated_length: средняя длина сгенерированных завершений, которые заканчиваются токеном EOS. При использовании инструментов учитываются только нетуловые токены.completions/min_terminated_length: минимальная длина сгенерированных завершений, которые заканчиваются токеном EOS. При использовании инструментов учитываются только токены, не относящиеся к инструментам.completions/max_terminated_length: максимальная длина сгенерированных завершений, которые заканчиваются токеном EOS. При использовании инструментов учитываются только токены, не относящиеся к инструментам.completions/clipped_ratio: Доля обрезанных (усечённых) завершений.tools/call_frequency: среднее количество вызовов инструментов на одно завершение в батче генерации. Записывается в журнал только при наличииtools.tools/failure_frequency: доля вызовов инструментов, завершившихся ошибкой (инструмент не найден, возникло исключение или тип вызова не поддерживается). Значение равно0.0, если ни один инструмент не был вызван. Записывается в журнал только при наличииtools.entropy: Средняя энтропия предсказаний токенов по всем сгенерированным завершениям (в натах).
Настройка
Ускорение обучения с генерацией на базе vLLM
Генерация часто является основным узким местом при обучении с использованием on-policy методов. Для ускорения генерации можно использовать vLLM — высокопроизводительный движок инференса с низкой задержкой для LLM. Для его включения сначала установите пакет с
pip install trl[vllm]
Мы поддерживаем два способа использования vLLM во время обучения: режим colocation и режим сервера.
Вариант 1: Режим Colocate
В этом режиме vLLM работает внутри процесса тренера и разделяет память GPU с моделью обучения. Это позволяет избежать запуска отдельного сервера и может повысить использование GPU, но может привести к конкуренции за память на GPU, используемых для обучения. Это режим по умолчанию.
from trl import DistillationConfig
training_args = DistillationConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)Вариант 2: серверный режим
В этом режиме vLLM работает в отдельном процессе (и на отдельных GPU) и взаимодействует с тренером через HTTP. Это идеальный вариант, если у вас есть выделенные GPU для инференса.
Запустите сервер vLLM:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1Включите серверный режим в вашем скрипте обучения:
from trl import DistillationConfig training_args = DistillationConfig( ..., use_vllm=True, vllm_mode="server", )
Убедитесь, что сервер использует другие GPU, чем тренажёр, иначе могут возникнуть ошибки NCCL. Вы можете указать используемые GPU с помощью переменной окружения
CUDA_VISIBLE_DEVICES.
В зависимости от размера модели и общих требований к памяти GPU для обучения может потребоваться скорректировать параметр
vllm_gpu_memory_utilizationв DistillationConfig, чтобы избежать недоиспользования ресурсов или ошибок нехватки памяти.
Для получения дополнительной информации см. Ускорение обучения с помощью vLLM.
Обучение адаптеров с PEFT
Мы поддерживаем тесную интеграцию с библиотекой 🤗 PEFT, что позволяет обучать адаптеры и делиться ими на Hub, а не обучать всю модель-ученика.
from datasets import load_dataset
from trl import DistillationTrainer
from peft import LoraConfig
dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
trainer = DistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
train_dataset=dataset,
peft_config=LoraConfig(),
)
trainer.train()Функция потерь дистилляции напрямую читает
lm_head.weightи запускает базовую модель студента, минуяPeftModel.forward(). В связи с этим адаптеры дляlm_head(черезtarget_modules) и методы обучения промптов (PromptTuning, PrefixTuning, P-Tuning) отклоняются, поскольку они были бы молча проигнорированы. Для обучения головы используйте вместо этогоmodules_to_save=["lm_head"].
Обучение агента
DistillationTrainer поддерживает обучение агентов: во время генерации студент вызывает инструменты, а дистилляция выполняется по полученной траектории. Токены результатов инструментов маскируются в функции потерь, поэтому студент обучается только на токенах, которые он сгенерировал сам.
Инструменты
Аргумент tools принимает список функций Python, определяющих инструменты, доступные агенту:
from trl import DistillationTrainer
trainer = DistillationTrainer(
tools=[tool1, tool2],
...,
)Каждый инструмент должен быть стандартной функцией Python с аргументами и типом возвращаемого значения, указанными через type hints, а также документирующей строкой в стиле Google, описывающей его назначение, аргументы и возвращаемое значение. Подробнее см. в руководстве по передаче инструментов.
Цикл вызова инструментов требует, чтобы шаблон чата был сохраняющим префикс (добавление сообщения инструмента не должно изменять отображение предыдущих сообщений). Для известных семейств моделей (например, Qwen3, DeepSeek-V3) TRL автоматически подставляет исправленный шаблон обучения, когда инструменты включены. Полный список см. в разделе Chat Templates.
Используйте max_tool_calling_iterations в DistillationConfig, чтобы ограничить количество ходов вызова инструментов. По умолчанию ограничение отсутствует, и генерация останавливается, когда студент выдаёт ответный ход без вызовов инструментов, когда завершение (все ходы и результаты инструментов) достигает max_completion_length токенов, или когда полная последовательность достигает максимальной длины модели (vllm_max_model_length при vllm_mode="colocate", иначе max_position_embeddings модели).
Пример:
from trl import DistillationTrainer
def multiply(a: int, b: int) -> int:
"""
Multiplies two integers.
Args:
a: The first integer.
b: The second integer.
Returns:
The product of the two integers.
"""
return a * b
trainer = DistillationTrainer(
tools=[multiply],
...,
)Асинхронные инструменты пока не поддерживаются — передавайте синхронные функции.
Ответы мультимодальных инструментов
Инструменты могут возвращать изображения вместе с текстом, возвращая список блоков контента. Это полезно для обучения агентов VLM, где инструмент предоставляет визуальную обратную связь (например, скриншоты, графики, снимки с камеры).
from PIL import Image
def take_screenshot() -> list:
"""
Takes a screenshot of the current screen.
Returns:
The screenshot image with a description.
"""
img = Image.open("screenshot.png")
return [{"type": "image", "image": img}, {"type": "text", "text": "Here is the screenshot."}]Возвращаемые изображения автоматически добавляются в диалог и передаются в VLM для последующих шагов генерации.
Обучение моделей «зрение-язык»
DistillationTrainer поддерживает дистилляцию моделей Vision-Language (VLM) на мультимодальных наборах данных, содержащих как текст, так и изображения. Передайте VLM в качестве и ученика, и учителя, а также предоставьте набор данных, содержащий только промпты, с колонкой image (одно изображение на образец) или колонкой images (список изображений на образец). Подробнее об ожидаемой структуре набора данных см. в разделе Dataset Format — Vision datasets.
Проверено с:
- Gemma 3 — например,
google/gemma-3-4b-it - LLaVA-NeXT — например,
llava-hf/llava-v1.6-mistral-7b-hf - Qwen2-VL — например,
Qwen/Qwen2-VL-2B-Instruct - Qwen2.5-VL — например,
Qwen/Qwen2.5-VL-3B-Instruct
Совместимость со всеми VLM не гарантируется. Если вы считаете, что модель должна поддерживаться, не стесняйтесь открыть issue на GitHub — или, что ещё лучше, отправить pull request с необходимыми изменениями.
Интерфейс командной строки
Используйте CLI trl distillation для запуска обучения дистилляции из командной строки. Поддерживается полное обучение и LoRA через стандартные флаги ModelConfig.
# Full training:
trl distillation \
--model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
--dataset_name trl-lib/ultrafeedback-prompt \
--learning_rate 2e-5 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--output_dir distilled-model \
--num_train_epochs 1# LoRA:
trl distillation \
--model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
--dataset_name trl-lib/ultrafeedback-prompt \
--learning_rate 2e-4 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--output_dir distilled-model \
--num_train_epochs 1 \
--use_peft \
--lora_r 64 \
--lora_alpha 16DistillationTrainer
класс trl.DistillationTrainer
< source >( model: str | PreTrainedModel | PeftModelteacher_model: str | transformers.modeling_utils.PreTrainedModel | None = Noneargs: trl.trainer.distillation_config.DistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Nonetools: list[collections.abc.Callable] | None = None )
Параметры
- model (
strили PreTrainedModel илиPeftModel) — Модель, подлежащая обучению. Может быть одним из следующих:- Строка, являющаяся model id предобученной модели, размещённой в репозитории моделей на huggingface.co, или путь к каталогу, содержащему веса модели, сохранённые с помощью save_pretrained, например
'./my_model_directory/'. Модель загружается с помощью<ModelArchitecture>.from_pretrained(где<ModelArchitecture>определяется из конфигурации модели) с использованием именованных аргументов изargs.model_init_kwargs. Еслиdtypeне указан вargs.model_init_kwargs, по умолчанию используетсяfloat32. Это отличается от from_pretrained, где (начиная с Transformers v5) тип данных выводится из конфигурации модели. - Объект PreTrainedModel. Поддерживаются только каузальные языковые модели.
- Объект
PeftModel. Поддерживаются только каузальные языковые модели.
- Строка, являющаяся model id предобученной модели, размещённой в репозитории моделей на huggingface.co, или путь к каталогу, содержащему веса модели, сохранённые с помощью save_pretrained, например
- teacher_model (
strили PreTrainedModel, необязательный) — Модель-учитель, распределение следующего токена которой студент обучается воспроизводить. Может быть идентификатором модели / путём (загружается аналогичноmodel, с использованиемargs.teacher_model_init_kwargs) или экземпляром PreTrainedModel. Она должна разделять словарь со студентом. Может быть опущена в подклассах, которые предоставляют модель-учителя другим способом (например, удалённый сервер). - args (DistillationConfig, optional) —
Конфигурация для этого тренера. Если
None, используется конфигурация по умолчанию. - train_dataset (Dataset или IterableDataset) —
Набор данных для обучения. Он должен содержать столбец
"prompt". Любые дополнительные столбцы в наборе данных игнорируются. Формат образцов может быть следующим:- Standard: каждая выборка содержит обычный текст.
- Диалоговый: каждая выборка содержит структурированные сообщения (например, роль и содержимое).
Если
train_datasetявляется IterableDataset (например, потоковым набором данных), тоmax_stepsнеобходимо задать в аргументах обучения, поскольку его длину невозможно определить, а общее количество шагов обучения требуется для ограничения цикла обучения и настройки планировщика скорости обучения. - eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict или
dict[str, Dataset | IterableDataset]) — Набор данных для оценки. Он должен соответствовать тем же требованиям, что иtrain_dataset. - processing_class (PreTrainedTokenizerBase, ProcessorMixin, необязательный) —
Класс обработки, используемый для обработки данных. Сторона дополнения должна быть установлена в значение “left”. Если
None, класс обработки загружается по имени модели с помощью from_pretrained. Токен дополнения,tokenizer.pad_token, должен быть установлен. Если класс обработки не установил токен дополнения, по умолчанию будет использованtokenizer.eos_token. - callbacks (список TrainerCallback, необязательный) —
Список callback'ов для настройки цикла обучения. Они будут добавлены к списку callback'ов по умолчанию, описанных здесь.
Если вы хотите удалить один из используемых по умолчанию колбэков, воспользуйтесь методом remove_callback.
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], необязательный, по умолчанию(None, None)) — Кортеж, содержащий оптимизатор и планировщик, которые будут использоваться. По умолчанию будет создан экземплярAdamWдля вашей модели и планировщик, заданный функцией get_linear_schedule_with_warmup и управляемый параметрамиargs. - quantization_config (BitsAndBytesConfig, optional) —
Конфигурация квантования, используемая при загрузке модели по идентификатору модели. Используйте в сочетании с
peft_configдля обучения QLoRA. Игнорируется, если модель уже инициализирована. - peft_config (
PeftConfig, необязательный) — Конфигурация PEFT, используемая для обёртки модели. ЕслиNone, модель не оборачивается. - tools (список
Callable, необязательный) — Список вызываемых функций-инструментов, которые модель может вызывать во время генерации. Каждый инструмент должен быть стандартной функцией Python с корректно типизированными аргументами и значениями возвращаемых значений, а также строкой документации в стиле Google, описывающей его назначение, аргументы и возвращаемое значение. Дополнительные сведения см. по адресу: https://huggingface.co/docs/transformers/en/chat_extras#passing-tools. Модель использует имя функции, типизацию аргументов и строку документации, чтобы определить, как её вызвать. Убедитесь, что шаблон чата модели поддерживает использование инструментов и что модель была дообучена для вызова инструментов.
Trainer для дистилляции знаний. Студент обучается on-policy — он сам генерирует завершения — чтобы соответствовать распределению следующего токена учителя в рамках обобщённого расхождения Йенсена–Шеннона (интерполирующего прямое KL, обратное KL и JSD через beta), как описано в On-Policy Distillation of Language
Models.
Пример:
>>> from trl import DistillationTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/tldr", split="train")
>>> trainer = DistillationTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()обучение
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Параметры
- resume_from_checkpoint (
strилиbool, необязательный) — Если передано значение типаstr, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляромTrainer. Если передано значение типаboolи оно равноTrue, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляромTrainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки. - trial (
optuna.Trialилиdict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров. - ignore_keys_for_eval (
list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.
Возвращает
~trainer_utils.TrainOutput
Объект, содержащий количество глобальных шагов, потерю обучения и метрики.
Основная точка входа для обучения.
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.
DistillationConfig
класс trl.DistillationConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool | None = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falseteacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Nonedisable_dropout: bool = Falsemax_completion_length: int | None = 512ds3_gather_for_generation: bool = Trueshuffle_dataset: bool | None = Truepad_to_multiple_of: int | str | None = 'auto'temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict | str | None = Nonechat_template_kwargs: dict | str | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_structured_outputs_regex: str | None = Nonevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonevllm_tensor_parallel_size: int = 1beta: float = 1.0max_tool_calling_iterations: int | None = Nonelog_completions: bool = Falsenum_completions_to_print: int | None = Nonelog_unique_prompts: bool = False )
Параметры, управляющие моделью и моделью-учителем
- model_init_kwargs (
strилиdict[str, Any], необязательный) — Параметры с ключами дляAutoModelForCausalLM.from_pretrained, используются, когда аргументmodelтренера предоставляется в виде строки. Значениеrevisionтакже используется при загрузке класса обработки. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher. - teacher_model_name_or_path (
str, необязательный) — Имя или путь к модели учителя. Используется, когда модель учителя загружается локально. - teacher_model_revision (
str, необязательный) — Ревизия модели-учителя (например, имя ветки, тег или хеш коммита). - teacher_model_init_kwargs (
strилиdict[str, Any], необязательный) — Параметры, передаваемые вAutoModelForCausalLM.from_pretrainedпри создании модели-учителя из строки. - disable_dropout (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли отключать dropout в модели-ученике во время обучения.
Параметры, управляющие предобработкой данных
- remove_unused_columns (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли оставлять в наборе данных только столбец"prompt". Тренер использует исходный столбец с промптами и генерирует завершения on-policy, поэтому по умолчанию установлено значениеFalse. - max_completion_length (
intorNone, необязательный, по умолчанию512) — Максимальное количество токенов, генерируемых на каждое завершение во время on-policy генерации. - ds3_gather_for_generation (
bool, необязательный, по умолчаниюTrue) — Этот параметр относится к DeepSpeed ZeRO-3. Если включен, веса модели политики собираются для генерации, что повышает скорость генерации. Однако отключение этого параметра позволяет обучать модели, превышающие VRAM-емкость одного GPU, хотя и за счет более медленной генерации. Отключение этого параметра несовместимо с генерацией vLLM. - shuffle_dataset (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли перемешивать обучающий набор данных. - pad_to_multiple_of (
intилиstr, необязательный, по умолчанию"auto") — Если задано, идентификаторы промптов и завершений будут дополнены до кратного этого значения."auto"дополняет до кратного 128 на Neuron (AWS Trainium), который компилируется один раз для каждой формы входных данных, и не выполняет дополнения в других случаях.
Параметры, управляющие генерацией
- temperature (
float, необязательный, по умолчанию1.0) — Температура для выборки при генерации и для вычисления потерь дистилляции. Более высокие значения приводят к более мягким распределениям вероятностей. - top_p (
float, необязательный, по умолчанию1.0) — Параметр top-p (nucleus) выборки для генерации on-policy. - top_k (
int, необязательный, по умолчанию0) — Параметр top-k выборки для генерации on-policy.0отключает top-k фильтрацию. - min_p (
float, необязательный) — Минимальная вероятность токена, которая масштабируется вероятностью наиболее вероятного токена. Значение должно находиться в диапазоне от0.0до1.0. Типичные значения лежат в диапазоне0.01-0.2. - generation_kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в GenerationConfig (при использовании transformers) илиSamplingParams(при использовании vLLM) при выборке завершений. Это позволяет дополнительно настраивать поведение генерации, например, задаватьsuppress_tokens,num_beamsи т. д. Если в словаре содержатся ключи, конфликтующие с другими параметрами генерации (например,min_p,top_pи т. д.), они будут иметь приоритет. - chat_template_kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в функциюapply_chat_templateпри генерации ответов. - repetition_penalty (
float, необязательный, по умолчанию1.0) — Число с плавающей точкой, которое штрафует новые токены в зависимости от того, встречаются ли они в исходном запросе и в уже сгенерированном тексте. Значения >1.0побуждают модель использовать новые токены, а значения <1.0— повторять токены. - cache_implementation (
str, необязательный) — Реализация метода кэширования для более быстрого генерирования, когдаuse_vllmустановлен вFalse.
Параметры, управляющие ускорением генерации на базе vLLM
- use_vllm (
bool, необязательный, по умолчаниюFalse) — Использовать ли vLLM для генерации on-policy завершений от модели-ученика. - vllm_mode (
str, необязательный, по умолчанию"colocate") — Режим интеграции vLLM для student. Допустимые значения:"server"или"colocate". - vllm_model_impl (
str, необязательный, по умолчанию"vllm") — Бэкенд реализации модели для vLLM. Используйте"vllm"или"transformers". - vllm_enable_sleep_mode (
bool, необязательный, по умолчаниюFalse) — Включает режим сна vLLM для выгрузки весов ученика во время шага оптимизатора. - vllm_structured_outputs_regex (
str, необязательный) — Шаблон регулярного выражения для структурированных выходов vLLM.
Параметры, управляющие сервером vLLM (используются только при `vllm_mode` = `"server"`)
- vllm_server_base_url (
str, необязательный) — Базовый URL для сервера vLLM студента. Если указан,vllm_server_hostиvllm_server_portигнорируются. - vllm_server_host (
str, необязательный, по умолчанию"0.0.0.0") — Хост сервера vLLM студента. - vllm_server_port (
int, необязательный, по умолчанию8000) — Порт сервера vLLM студента. - vllm_server_timeout (
float, необязательный, по умолчанию240.0) — Время ожидания подключения к серверу vLLM студента. - vllm_group_port (
int, необязательный, по умолчанию51216) — Порт для группы обновления весов vLLM (коммутатор NCCL).
Параметры, управляющие выполнением vLLM в режиме colocation (используются только при `vllm_mode` = `"colocate"`)
- vllm_gpu_memory_utilization (
float, необязательный, по умолчанию0.3) — доля использования памяти GPU для движка vLLM студента, работающего на том же устройстве. - vllm_max_model_length (
int, необязательный) — Максимальная длина последовательности модели для совмещённого движка vLLM. - vllm_tensor_parallel_size (
int, необязательный, по умолчанию1) — Размер тензорного параллелизма для локального движка vLLM студента.
Параметры, управляющие обучением
- beta (
float, необязательный, по умолчанию1.0) — Коэффициент интерполяции для функции потерь обобщённого расхождения Дженсена–Шаннона. При значении0.0функция потерь представляет собой прямое расхождение KL. При значении1.0функция потерь представляет собой обратное расхождение KL. При значении0.5это стандартное расхождение JSD. В отличие отbetaв GRPO (коэффициент штрафного члена KL относительно эталонной модели), здесь он выбирает само расхождение; штрафного члена KL относительно эталонной модели нет. - max_tool_calling_iterations (
int, необязательный) — Максимальное количество итераций вызова инструментов при обучении агента. ЕслиNone, ограничение отсутствует, и генерация останавливается, когда модель генерирует ответ без вызовов инструментов, когда завершение (все итерации и результаты инструментов) достигаетmax_completion_lengthтокенов, или когда полная последовательность достигает максимальной длины модели (vllm_max_model_lengthприvllm_mode="colocate", иначеmax_position_embeddingsмодели).
Параметры, управляющие ведением журнала
- log_completions (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли каждыеlogging_stepsшагов записывать в журнал выборку пар (prompt, completion). Если установлен пакетrich, выборка выводится на экран. Если включено логирование вwandbи/илиtrackio, выборка записывается вwandbи/илиtrackio. - num_completions_to_print (
int, необязательный) — Количество завершений, которые нужно вывести с помощьюrich. ЕслиNone, в журнал записываются все завершения. - log_unique_prompts (
bool, необязательный, по умолчаниюFalse) — Флаг, определяющий, следует ли записывать в журнал только уникальные промпты. ЕслиTrue, в журнал записываются только уникальные промпты. ЕслиFalse, записываются все промпты.
Класс конфигурации для DistillationTrainer.
Расширяет TrainingArguments параметрами, специфичными для дистилляции знаний. Все необходимые поля объявлены здесь.
С помощью HfArgumentParser мы можем превратить этот класс в аргументы argparse, которые можно указать в командной строке.
Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:
logging_steps: по умолчанию10, а не500.gradient_checkpointing: по умолчаниюTrue, а неFalse.bf16: по умолчаниюTrue, если не заданfp16, а неFalse.learning_rate: по умолчанию1e-6, а не5e-5.