TRL documentation

Тренер дистилляции

You are viewing v1.18.1 version. A newer version v1.18.2 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Тренер дистилляции

model badge

Обзор

Distillation Trainer реализует on-policy дистилляцию знаний, описанную в статье On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes авторов Rishabh Agarwal, Nino Vieillard, Yongchao Zhou, Piotr Stanczyk, Sabela Ramos, Matthieu Geist и Olivier Bachem.

Аннотация из статьи следующая:

Метод дистилляции знаний (KD) широко применяется для сжатия модели-учителя с целью снижения затрат на инференс и потребления памяти путём обучения более компактной модели-ученика. Однако современные методы KD для авторегрессионных последовательных моделей страдают от рассогласования распределений между выходными последовательностями, на которых обучается модель, и теми, которые генерирует ученик во время инференса. Для решения этой проблемы мы предлагаем Generalized Knowledge Distillation (GKD). Вместо того чтобы полагаться исключительно на фиксированный набор выходных последовательностей, GKD обучает ученика на его собственных сгенерированных выходных последовательностях, используя обратную связь от учителя по таким последовательностям. В отличие от методов KD с учителем (supervised KD), GKD также обеспечивает гибкость в использовании альтернативных функций потерь между учеником и учителем, что может быть полезно, когда ученик не обладает достаточной выразительностью, чтобы имитировать распределение учителя.

DistillationTrainer обучает более маленькую модель-ученика соответствовать распределению следующего токена учителя на собственных on-policy генерациях ученика. Он генерирует завершения ученика on-policy (опционально с использованием vLLM) и сопоставляет их с учителем по полному распределению следующего токена с помощью энергоэффективной кусковой функции потерь на основе дивергенции Йенсена-Шеннона, благодаря чему плотное распределение учителя никогда не материализуется целиком.

Этот тренажёр был предложен Carlos Miguel Patiño.

Для асинхронного аналога, который отделяет генерацию от обучения и оценивает результаты по учителю, обслуживаемому через HTTP, а не по локальному прямому пропуску, см. AsyncDistillationTrainer.

Быстрый старт

В этом примере показано, как обучать модель с использованием метода дистилляции. Мы дистиллируем модель Qwen 2.5 0.5B Instruct из учителя Qwen 2.5 1.5B Instruct на промптах из набора данных UltraFeedback prompt dataset. Данные из набора можно посмотреть здесь:

Ниже приведён скрипт для обучения модели.

# train_distillation.py
from datasets import load_dataset
from trl import DistillationTrainer

dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")

trainer = DistillationTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()

Выполните скрипт с помощью следующей команды:

torchrun --nproc_per_node 8 train_distillation.py

Более подробный обзор метода дистилляции

Он-полити дистилляция знаний обучает ученика воспроизводить распределение следующего токена учителя на завершениях, которые генерирует сам ученик, а не на фиксированном наборе выходов учителя. Обучение на собственных генерациях позволяет ученику исправлять собственные ошибки, что, как правило, даёт лучшие результаты, чем офф-полити дистилляция. В этом разделе подробно описано, как это работает на практике, с акцентом на два ключевых шага: генерация завершений и вычисление функции потерь.

Генерация завершений

На каждом шаге обучения студент генерирует пакет завершений для выбранных промптов.

Вычисление функции потерь

Потеря представляет собой обобщённую дивергенцию Йенсена-Шеннона (JSD) между распределением ученика pS p_S и распределением учителя pT p_T по сгенерированным токенам завершения, интерполированную с помощью beta и заданную следующим образом: Lβ=β DKL ⁣[pT∥pM]+(1−β) DKL ⁣[pS∥pM],pM=(1−β) pS+β pT, \mathcal{L}_\beta = \beta \, \mathbb{D}_{\mathrm{KL}}\!\left[ p_T \| p_M \right] + (1 - \beta) \, \mathbb{D}_{\mathrm{KL}}\!\left[ p_S \| p_M \right], \qquad p_M = (1 - \beta) \, p_S + \beta \, p_T,

где pM p_M — это β \beta --смесь двух распределений. На концах интервала выражение сводится к чистым расхождениям: beta=0.0 даёт прямое расхождение DKL ⁣[pT∥pS] \mathbb{D}_{\mathrm{KL}}\!\left[ p_T \| p_S \right] а beta=1.0 обратное расхождение DKL ⁣[pS∥pT] \mathbb{D}_{\mathrm{KL}}\!\left[ p_S \| p_T \right] .

На практике проекция в логиты словаря и расхождение вычисляются по частям, поэтому пиковая память активаций не масштабируется с полным тензором логитов размера «словарь × длина последовательности». См. Снижение использования памяти.

Ожидаемый тип набора данных

Набор данных должен быть оформлен как диалоговый только с промптами. Студент генерирует собственные завершения on-policy, поэтому нужны только промпты:

{"prompt": [{"role": "user", "content": "What color is the sky?"}]}

Записываемые метрики

Во время обучения и оценки мы фиксируем следующие метрики:

  • num_tokens: общее количество обработанных на данный момент токенов, включая как промпты, так и завершения. При использовании инструментов учитываются только нетуловые токены.
  • step_time: среднее время (в секундах), затрачиваемое на один шаг обучения (включая генерацию).
  • completions/mean_length: средняя длина сгенерированных завершений. При использовании инструментов учитываются только токены, не относящиеся к инструментам.
  • completions/min_length: минимальная длина генерируемых завершений. При использовании инструментов учитываются только токены, не относящиеся к инструментам.
  • completions/max_length: максимальная длина генерируемых дополнений. При использовании инструментов учитываются только токены, не относящиеся к инструментам.
  • completions/mean_terminated_length: средняя длина сгенерированных завершений, которые заканчиваются токеном EOS. При использовании инструментов учитываются только нетуловые токены.
  • completions/min_terminated_length: минимальная длина сгенерированных завершений, которые заканчиваются токеном EOS. При использовании инструментов учитываются только токены, не относящиеся к инструментам.
  • completions/max_terminated_length: максимальная длина сгенерированных завершений, которые заканчиваются токеном EOS. При использовании инструментов учитываются только токены, не относящиеся к инструментам.
  • completions/clipped_ratio: Доля обрезанных (усечённых) завершений.
  • tools/call_frequency: среднее количество вызовов инструментов на одно завершение в батче генерации. Записывается в журнал только при наличии tools.
  • tools/failure_frequency: доля вызовов инструментов, завершившихся ошибкой (инструмент не найден, возникло исключение или тип вызова не поддерживается). Значение равно 0.0, если ни один инструмент не был вызван. Записывается в журнал только при наличии tools.
  • entropy: Средняя энтропия предсказаний токенов по всем сгенерированным завершениям (в натах).

Настройка

Ускорение обучения с генерацией на базе vLLM

Генерация часто является основным узким местом при обучении с использованием on-policy методов. Для ускорения генерации можно использовать vLLM — высокопроизводительный движок инференса с низкой задержкой для LLM. Для его включения сначала установите пакет с

pip install trl[vllm]

Мы поддерживаем два способа использования vLLM во время обучения: режим colocation и режим сервера.

Вариант 1: Режим Colocate

В этом режиме vLLM работает внутри процесса тренера и разделяет память GPU с моделью обучения. Это позволяет избежать запуска отдельного сервера и может повысить использование GPU, но может привести к конкуренции за память на GPU, используемых для обучения. Это режим по умолчанию.

from trl import DistillationConfig

training_args = DistillationConfig(
    ...,
    use_vllm=True,  # vllm_mode="colocate" by default
)

Вариант 2: серверный режим

В этом режиме vLLM работает в отдельном процессе (и на отдельных GPU) и взаимодействует с тренером через HTTP. Это идеальный вариант, если у вас есть выделенные GPU для инференса.

  1. Запустите сервер vLLM:

    VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
        --weight-transfer-config '{"backend": "nccl"}' \
        --logprobs-mode processed_logprobs \
        --max-logprobs -1
  2. Включите серверный режим в вашем скрипте обучения:

    from trl import DistillationConfig
    
    training_args = DistillationConfig(
        ...,
        use_vllm=True,
        vllm_mode="server",
    )

Убедитесь, что сервер использует другие GPU, чем тренажёр, иначе могут возникнуть ошибки NCCL. Вы можете указать используемые GPU с помощью переменной окружения CUDA_VISIBLE_DEVICES.

В зависимости от размера модели и общих требований к памяти GPU для обучения может потребоваться скорректировать параметр vllm_gpu_memory_utilization в DistillationConfig, чтобы избежать недоиспользования ресурсов или ошибок нехватки памяти.

Для получения дополнительной информации см. Ускорение обучения с помощью vLLM.

Обучение адаптеров с PEFT

Мы поддерживаем тесную интеграцию с библиотекой 🤗 PEFT, что позволяет обучать адаптеры и делиться ими на Hub, а не обучать всю модель-ученика.

from datasets import load_dataset
from trl import DistillationTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")

trainer = DistillationTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
    train_dataset=dataset,
    peft_config=LoraConfig(),
)
trainer.train()

Функция потерь дистилляции напрямую читает lm_head.weight и запускает базовую модель студента, минуя PeftModel.forward(). В связи с этим адаптеры для lm_head (через target_modules) и методы обучения промптов (PromptTuning, PrefixTuning, P-Tuning) отклоняются, поскольку они были бы молча проигнорированы. Для обучения головы используйте вместо этого modules_to_save=["lm_head"].

Обучение агента

DistillationTrainer поддерживает обучение агентов: во время генерации студент вызывает инструменты, а дистилляция выполняется по полученной траектории. Токены результатов инструментов маскируются в функции потерь, поэтому студент обучается только на токенах, которые он сгенерировал сам.

Инструменты

Аргумент tools принимает список функций Python, определяющих инструменты, доступные агенту:

from trl import DistillationTrainer

trainer = DistillationTrainer(
    tools=[tool1, tool2],
    ...,
)

Каждый инструмент должен быть стандартной функцией Python с аргументами и типом возвращаемого значения, указанными через type hints, а также документирующей строкой в стиле Google, описывающей его назначение, аргументы и возвращаемое значение. Подробнее см. в руководстве по передаче инструментов.

Цикл вызова инструментов требует, чтобы шаблон чата был сохраняющим префикс (добавление сообщения инструмента не должно изменять отображение предыдущих сообщений). Для известных семейств моделей (например, Qwen3, DeepSeek-V3) TRL автоматически подставляет исправленный шаблон обучения, когда инструменты включены. Полный список см. в разделе Chat Templates.

Используйте max_tool_calling_iterations в DistillationConfig, чтобы ограничить количество ходов вызова инструментов. По умолчанию ограничение отсутствует, и генерация останавливается, когда студент выдаёт ответный ход без вызовов инструментов, когда завершение (все ходы и результаты инструментов) достигает max_completion_length токенов, или когда полная последовательность достигает максимальной длины модели (vllm_max_model_length при vllm_mode="colocate", иначе max_position_embeddings модели).

Пример:

from trl import DistillationTrainer

def multiply(a: int, b: int) -> int:
    """
    Multiplies two integers.

    Args:
        a: The first integer.
        b: The second integer.

    Returns:
        The product of the two integers.
    """
    return a * b

trainer = DistillationTrainer(
    tools=[multiply],
    ...,
)

Асинхронные инструменты пока не поддерживаются — передавайте синхронные функции.

Ответы мультимодальных инструментов

Инструменты могут возвращать изображения вместе с текстом, возвращая список блоков контента. Это полезно для обучения агентов VLM, где инструмент предоставляет визуальную обратную связь (например, скриншоты, графики, снимки с камеры).

from PIL import Image

def take_screenshot() -> list:
    """
    Takes a screenshot of the current screen.

    Returns:
        The screenshot image with a description.
    """
    img = Image.open("screenshot.png")
    return [{"type": "image", "image": img}, {"type": "text", "text": "Here is the screenshot."}]

Возвращаемые изображения автоматически добавляются в диалог и передаются в VLM для последующих шагов генерации.

Обучение моделей «зрение-язык»

DistillationTrainer поддерживает дистилляцию моделей Vision-Language (VLM) на мультимодальных наборах данных, содержащих как текст, так и изображения. Передайте VLM в качестве и ученика, и учителя, а также предоставьте набор данных, содержащий только промпты, с колонкой image (одно изображение на образец) или колонкой images (список изображений на образец). Подробнее об ожидаемой структуре набора данных см. в разделе Dataset Format — Vision datasets.

Проверено с:

  • Gemma 3 — например, google/gemma-3-4b-it
  • LLaVA-NeXT — например, llava-hf/llava-v1.6-mistral-7b-hf
  • Qwen2-VL — например, Qwen/Qwen2-VL-2B-Instruct
  • Qwen2.5-VL — например, Qwen/Qwen2.5-VL-3B-Instruct

Совместимость со всеми VLM не гарантируется. Если вы считаете, что модель должна поддерживаться, не стесняйтесь открыть issue на GitHub — или, что ещё лучше, отправить pull request с необходимыми изменениями.

Интерфейс командной строки

Используйте CLI trl distillation для запуска обучения дистилляции из командной строки. Поддерживается полное обучение и LoRA через стандартные флаги ModelConfig.

# Full training:
trl distillation \
    --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback-prompt \
    --learning_rate 2e-5 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --output_dir distilled-model \
    --num_train_epochs 1
# LoRA:
trl distillation \
    --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback-prompt \
    --learning_rate 2e-4 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --output_dir distilled-model \
    --num_train_epochs 1 \
    --use_peft \
    --lora_r 64 \
    --lora_alpha 16

DistillationTrainer

класс trl.DistillationTrainer

< >

( model: str | PreTrainedModel | PeftModelteacher_model: str | transformers.modeling_utils.PreTrainedModel | None = Noneargs: trl.trainer.distillation_config.DistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Nonetools: list[collections.abc.Callable] | None = None )

Параметры

  • model (str или PreTrainedModel или PeftModel) — Модель, подлежащая обучению. Может быть одним из следующих:
    • Строка, являющаяся model id предобученной модели, размещённой в репозитории моделей на huggingface.co, или путь к каталогу, содержащему веса модели, сохранённые с помощью save_pretrained, например './my_model_directory/'. Модель загружается с помощью <ModelArchitecture>.from_pretrained (где <ModelArchitecture> определяется из конфигурации модели) с использованием именованных аргументов из args.model_init_kwargs. Если dtype не указан в args.model_init_kwargs, по умолчанию используется float32. Это отличается от from_pretrained, где (начиная с Transformers v5) тип данных выводится из конфигурации модели.
    • Объект PreTrainedModel. Поддерживаются только каузальные языковые модели.
    • Объект PeftModel. Поддерживаются только каузальные языковые модели.
  • teacher_model (str или PreTrainedModel, необязательный) — Модель-учитель, распределение следующего токена которой студент обучается воспроизводить. Может быть идентификатором модели / путём (загружается аналогично model, с использованием args.teacher_model_init_kwargs) или экземпляром PreTrainedModel. Она должна разделять словарь со студентом. Может быть опущена в подклассах, которые предоставляют модель-учителя другим способом (например, удалённый сервер).
  • args (DistillationConfig, optional) — Конфигурация для этого тренера. Если None, используется конфигурация по умолчанию.
  • train_dataset (Dataset или IterableDataset) — Набор данных для обучения. Он должен содержать столбец "prompt". Любые дополнительные столбцы в наборе данных игнорируются. Формат образцов может быть следующим:
    • Standard: каждая выборка содержит обычный текст.
    • Диалоговый: каждая выборка содержит структурированные сообщения (например, роль и содержимое).

    Если train_dataset является IterableDataset (например, потоковым набором данных), то max_steps необходимо задать в аргументах обучения, поскольку его длину невозможно определить, а общее количество шагов обучения требуется для ограничения цикла обучения и настройки планировщика скорости обучения.

  • eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict или dict[str, Dataset | IterableDataset]) — Набор данных для оценки. Он должен соответствовать тем же требованиям, что и train_dataset.
  • processing_class (PreTrainedTokenizerBase, ProcessorMixin, необязательный) — Класс обработки, используемый для обработки данных. Сторона дополнения должна быть установлена в значение “left”. Если None, класс обработки загружается по имени модели с помощью from_pretrained. Токен дополнения, tokenizer.pad_token, должен быть установлен. Если класс обработки не установил токен дополнения, по умолчанию будет использован tokenizer.eos_token.
  • callbacks (список TrainerCallback, необязательный) — Список callback'ов для настройки цикла обучения. Они будут добавлены к списку callback'ов по умолчанию, описанных здесь.

    Если вы хотите удалить один из используемых по умолчанию колбэков, воспользуйтесь методом remove_callback.

  • optimizers (tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], необязательный, по умолчанию (None, None)) — Кортеж, содержащий оптимизатор и планировщик, которые будут использоваться. По умолчанию будет создан экземпляр AdamW для вашей модели и планировщик, заданный функцией get_linear_schedule_with_warmup и управляемый параметрами args.
  • quantization_config (BitsAndBytesConfig, optional) — Конфигурация квантования, используемая при загрузке модели по идентификатору модели. Используйте в сочетании с peft_config для обучения QLoRA. Игнорируется, если модель уже инициализирована.
  • peft_config (PeftConfig, необязательный) — Конфигурация PEFT, используемая для обёртки модели. Если None, модель не оборачивается.
  • tools (список Callable, необязательный) — Список вызываемых функций-инструментов, которые модель может вызывать во время генерации. Каждый инструмент должен быть стандартной функцией Python с корректно типизированными аргументами и значениями возвращаемых значений, а также строкой документации в стиле Google, описывающей его назначение, аргументы и возвращаемое значение. Дополнительные сведения см. по адресу: https://huggingface.co/docs/transformers/en/chat_extras#passing-tools. Модель использует имя функции, типизацию аргументов и строку документации, чтобы определить, как её вызвать. Убедитесь, что шаблон чата модели поддерживает использование инструментов и что модель была дообучена для вызова инструментов.

Trainer для дистилляции знаний. Студент обучается on-policy — он сам генерирует завершения — чтобы соответствовать распределению следующего токена учителя в рамках обобщённого расхождения Йенсена–Шеннона (интерполирующего прямое KL, обратное KL и JSD через beta), как описано в On-Policy Distillation of Language Models.

Пример:

>>> from trl import DistillationTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/tldr", split="train")

>>> trainer = DistillationTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()

обучение

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Параметры

  • resume_from_checkpoint (str или bool, необязательный) — Если передано значение типа str, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляром Trainer. Если передано значение типа bool и оно равно True, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляром Trainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки.
  • trial (optuna.Trial или dict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров.
  • ignore_keys_for_eval (list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.

Возвращает

~trainer_utils.TrainOutput

Объект, содержащий количество глобальных шагов, потерю обучения и метрики.

Основная точка входа для обучения.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().

Сохранение будет выполняться только из основного процесса.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Параметры

  • commit_message (str, необязательный, по умолчанию "End of training") — Сообщение для коммита при отправке.
  • blocking (bool, необязательный, по умолчанию True) — Определяет, должна ли функция возвращаться только после завершения git push.
  • token (str, необязательный, по умолчанию None) — Токен с правом записи для перезаписи исходных аргументов Trainer.
  • revision (str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”.
  • private (bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значение args.hub_private_repo. Не имеет эффекта, если репозиторий уже существует.
  • kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в ~Trainer.create_model_card.

Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.

DistillationConfig

класс trl.DistillationConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool | None = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falseteacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Nonedisable_dropout: bool = Falsemax_completion_length: int | None = 512ds3_gather_for_generation: bool = Trueshuffle_dataset: bool | None = Truepad_to_multiple_of: int | str | None = 'auto'temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict | str | None = Nonechat_template_kwargs: dict | str | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_structured_outputs_regex: str | None = Nonevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonevllm_tensor_parallel_size: int = 1beta: float = 1.0max_tool_calling_iterations: int | None = Nonelog_completions: bool = Falsenum_completions_to_print: int | None = Nonelog_unique_prompts: bool = False )

Параметры, управляющие моделью и моделью-учителем

  • model_init_kwargs (str или dict[str, Any], необязательный) — Параметры с ключами для AutoModelForCausalLM.from_pretrained, используются, когда аргумент model тренера предоставляется в виде строки. Значение revision также используется при загрузке класса обработки.
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher.
  • teacher_model_name_or_path (str, необязательный) — Имя или путь к модели учителя. Используется, когда модель учителя загружается локально.
  • teacher_model_revision (str, необязательный) — Ревизия модели-учителя (например, имя ветки, тег или хеш коммита).
  • teacher_model_init_kwargs (str или dict[str, Any], необязательный) — Параметры, передаваемые в AutoModelForCausalLM.from_pretrained при создании модели-учителя из строки.
  • disable_dropout (bool, необязательный, по умолчанию False) — Определяет, следует ли отключать dropout в модели-ученике во время обучения.

Параметры, управляющие предобработкой данных

  • remove_unused_columns (bool, необязательный, по умолчанию False) — Определяет, следует ли оставлять в наборе данных только столбец "prompt". Тренер использует исходный столбец с промптами и генерирует завершения on-policy, поэтому по умолчанию установлено значение False.
  • max_completion_length (int or None, необязательный, по умолчанию 512) — Максимальное количество токенов, генерируемых на каждое завершение во время on-policy генерации.
  • ds3_gather_for_generation (bool, необязательный, по умолчанию True) — Этот параметр относится к DeepSpeed ZeRO-3. Если включен, веса модели политики собираются для генерации, что повышает скорость генерации. Однако отключение этого параметра позволяет обучать модели, превышающие VRAM-емкость одного GPU, хотя и за счет более медленной генерации. Отключение этого параметра несовместимо с генерацией vLLM.
  • shuffle_dataset (bool, необязательный, по умолчанию True) — Определяет, следует ли перемешивать обучающий набор данных.
  • pad_to_multiple_of (int или str, необязательный, по умолчанию "auto") — Если задано, идентификаторы промптов и завершений будут дополнены до кратного этого значения. "auto" дополняет до кратного 128 на Neuron (AWS Trainium), который компилируется один раз для каждой формы входных данных, и не выполняет дополнения в других случаях.

Параметры, управляющие генерацией

  • temperature (float, необязательный, по умолчанию 1.0) — Температура для выборки при генерации и для вычисления потерь дистилляции. Более высокие значения приводят к более мягким распределениям вероятностей.
  • top_p (float, необязательный, по умолчанию 1.0) — Параметр top-p (nucleus) выборки для генерации on-policy.
  • top_k (int, необязательный, по умолчанию 0) — Параметр top-k выборки для генерации on-policy. 0 отключает top-k фильтрацию.
  • min_p (float, необязательный) — Минимальная вероятность токена, которая масштабируется вероятностью наиболее вероятного токена. Значение должно находиться в диапазоне от 0.0 до 1.0. Типичные значения лежат в диапазоне 0.01-0.2.
  • generation_kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в GenerationConfig (при использовании transformers) или SamplingParams (при использовании vLLM) при выборке завершений. Это позволяет дополнительно настраивать поведение генерации, например, задавать suppress_tokens, num_beams и т. д. Если в словаре содержатся ключи, конфликтующие с другими параметрами генерации (например, min_p, top_p и т. д.), они будут иметь приоритет.
  • chat_template_kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в функцию apply_chat_template при генерации ответов.
  • repetition_penalty (float, необязательный, по умолчанию 1.0) — Число с плавающей точкой, которое штрафует новые токены в зависимости от того, встречаются ли они в исходном запросе и в уже сгенерированном тексте. Значения > 1.0 побуждают модель использовать новые токены, а значения < 1.0 — повторять токены.
  • cache_implementation (str, необязательный) — Реализация метода кэширования для более быстрого генерирования, когда use_vllm установлен в False.

Параметры, управляющие ускорением генерации на базе vLLM

  • use_vllm (bool, необязательный, по умолчанию False) — Использовать ли vLLM для генерации on-policy завершений от модели-ученика.
  • vllm_mode (str, необязательный, по умолчанию "colocate") — Режим интеграции vLLM для student. Допустимые значения: "server" или "colocate".
  • vllm_model_impl (str, необязательный, по умолчанию "vllm") — Бэкенд реализации модели для vLLM. Используйте "vllm" или "transformers".
  • vllm_enable_sleep_mode (bool, необязательный, по умолчанию False) — Включает режим сна vLLM для выгрузки весов ученика во время шага оптимизатора.
  • vllm_structured_outputs_regex (str, необязательный) — Шаблон регулярного выражения для структурированных выходов vLLM.

Параметры, управляющие сервером vLLM (используются только при `vllm_mode` = `"server"`)

  • vllm_server_base_url (str, необязательный) — Базовый URL для сервера vLLM студента. Если указан, vllm_server_host и vllm_server_port игнорируются.
  • vllm_server_host (str, необязательный, по умолчанию "0.0.0.0") — Хост сервера vLLM студента.
  • vllm_server_port (int, необязательный, по умолчанию 8000) — Порт сервера vLLM студента.
  • vllm_server_timeout (float, необязательный, по умолчанию 240.0) — Время ожидания подключения к серверу vLLM студента.
  • vllm_group_port (int, необязательный, по умолчанию 51216) — Порт для группы обновления весов vLLM (коммутатор NCCL).

Параметры, управляющие выполнением vLLM в режиме colocation (используются только при `vllm_mode` = `"colocate"`)

  • vllm_gpu_memory_utilization (float, необязательный, по умолчанию 0.3) — доля использования памяти GPU для движка vLLM студента, работающего на том же устройстве.
  • vllm_max_model_length (int, необязательный) — Максимальная длина последовательности модели для совмещённого движка vLLM.
  • vllm_tensor_parallel_size (int, необязательный, по умолчанию 1) — Размер тензорного параллелизма для локального движка vLLM студента.

Параметры, управляющие обучением

  • beta (float, необязательный, по умолчанию 1.0) — Коэффициент интерполяции для функции потерь обобщённого расхождения Дженсена–Шаннона. При значении 0.0 функция потерь представляет собой прямое расхождение KL. При значении 1.0 функция потерь представляет собой обратное расхождение KL. При значении 0.5 это стандартное расхождение JSD. В отличие от beta в GRPO (коэффициент штрафного члена KL относительно эталонной модели), здесь он выбирает само расхождение; штрафного члена KL относительно эталонной модели нет.
  • max_tool_calling_iterations (int, необязательный) — Максимальное количество итераций вызова инструментов при обучении агента. Если None, ограничение отсутствует, и генерация останавливается, когда модель генерирует ответ без вызовов инструментов, когда завершение (все итерации и результаты инструментов) достигает max_completion_length токенов, или когда полная последовательность достигает максимальной длины модели (vllm_max_model_length при vllm_mode="colocate", иначе max_position_embeddings модели).

Параметры, управляющие ведением журнала

  • log_completions (bool, необязательный, по умолчанию False) — Определяет, следует ли каждые logging_steps шагов записывать в журнал выборку пар (prompt, completion). Если установлен пакет rich, выборка выводится на экран. Если включено логирование в wandb и/или trackio, выборка записывается в wandb и/или trackio.
  • num_completions_to_print (int, необязательный) — Количество завершений, которые нужно вывести с помощью rich. Если None, в журнал записываются все завершения.
  • log_unique_prompts (bool, необязательный, по умолчанию False) — Флаг, определяющий, следует ли записывать в журнал только уникальные промпты. Если True, в журнал записываются только уникальные промпты. Если False, записываются все промпты.

Класс конфигурации для DistillationTrainer.

Расширяет TrainingArguments параметрами, специфичными для дистилляции знаний. Все необходимые поля объявлены здесь.

С помощью HfArgumentParser мы можем превратить этот класс в аргументы argparse, которые можно указать в командной строке.

Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:

  • logging_steps: по умолчанию 10, а не 500.
  • gradient_checkpointing: по умолчанию True, а не False.
  • bf16: по умолчанию True, если не задан fp16, а не False.
  • learning_rate: по умолчанию 1e-6, а не 5e-5.
Update on GitHub