# Скрипты Утилиты

## ScriptArguments[[trl.ScriptArguments]]

#### trl.ScriptArguments[[trl.ScriptArguments]]

```python
trl.ScriptArguments(dataset_name: str | None = None, dataset_config: str | None = None, dataset_train_split: str = 'train', dataset_test_split: str = 'test', dataset_streaming: bool = False, ignore_bias_buffers: bool = False)
```

[Источник](https://github.com/huggingface/trl/blob/v1.18.1/trl/scripts/utils.py#L146)

**Параметры:**

dataset_name (`str`,, *необязательный*) : Путь или имя набора данных для загрузки. Если указан `datasets`, это значение игнорируется.

dataset_config (`str`, *необязательный*) : Имя конфигурации набора данных. Соответствует аргументу `name` функции [load_dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/loading_methods#datasets.load_dataset). Если указан `datasets`, этот параметр игнорируется.

dataset_train_split (`str`, *необязательный*, по умолчанию `"train"`) : Раздел набора данных, используемый для обучения. Если указан `datasets`, это значение игнорируется.

dataset_test_split (`str`, *необязательный*, по умолчанию `"test"`) : Раздел набора данных, используемый для оценки. Если указан `datasets`, этот параметр игнорируется.

dataset_streaming (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли использовать потоковую загрузку набора данных. Если значение равно True, набор данных будет загружен в режиме потоковой обработки. Если указан параметр `datasets`, это значение будет проигнорировано.

ignore_bias_buffers (`bool`, *необязательный*, по умолчанию `False`) : Аргумент отладки для распределённого обучения. Исправление проблем DDP с буферами смещения/маски LM — некорректный скалярный тип, операция in-place. См. https://github.com/huggingface/transformers/issues/22482#issuecomment-1595790992.

Аргументы, общие для всех скриптов.

## TrlParser[[trl.TrlParser]]

#### trl.TrlParser[[trl.TrlParser]]

```python
trl.TrlParser(dataclass_types: typing.Union[trl.scripts._hf_argparser.DataClassType, collections.abc.Iterable[trl.scripts._hf_argparser.DataClassType], NoneType] = None, **kwargs)
```

[Источник](https://github.com/huggingface/trl/blob/v1.18.1/trl/scripts/utils.py#L234)

**Параметры:**

dataclass_types (`DataClassType | Iterable[DataClassType]`, *необязательный*) : Типы dataclass, используемые для разбора аргументов.

- ****kwargs** : Дополнительные именованные аргументы, передаваемые в конструктор [transformers.HfArgumentParser](https://huggingface.co/docs/transformers/v5.23.0/en/internal/trainer_utils#transformers.HfArgumentParser).

Подкласс [transformers.HfArgumentParser](https://huggingface.co/docs/transformers/v5.23.0/en/internal/trainer_utils#transformers.HfArgumentParser), предназначенный для разбора аргументов командной строки с конфигурациями на основе dataclass, а также поддерживающий загрузку файлов конфигурации и управление переменными окружения.

Примеры:

```yaml
# config.yaml
env:
    VAR1: value1
arg1: 23
```

```python
# main.py
import os
from dataclasses import dataclass
from trl import TrlParser

@dataclass
class MyArguments:
    arg1: int
    arg2: str = "alpha"

parser = TrlParser(dataclass_types=[MyArguments])
training_args = parser.parse_args_and_config()

print(training_args, os.environ.get("VAR1"))
```

```bash
$ python main.py --config config.yaml
(MyArguments(arg1=23, arg2='alpha'),) value1

$ python main.py --arg1 5 --arg2 beta
(MyArguments(arg1=5, arg2='beta'),) None
```

#### parse_args_and_config[[trl.TrlParser.parse_args_and_config]]

```python
parse_args_and_config(args: collections.abc.Iterable[str] | None = None, return_remaining_strings: bool = False, fail_with_unknown_args: bool = True, separate_remaining_strings: bool = False)
```

[Источник](https://github.com/huggingface/trl/blob/v1.18.1/trl/scripts/utils.py#L303)

Разбирает аргументы командной строки и файл конфигурации в экземпляры указанных типов dataclass.

Этот метод оборачивает [transformers.HfArgumentParser.parse_args_into_dataclasses](https://huggingface.co/docs/transformers/v5.23.0/en/internal/trainer_utils#transformers.HfArgumentParser.parse_args_into_dataclasses) и дополнительно разбирает файл конфигурации, указанный с флагом `--config`. Файл конфигурации (в формате YAML) предоставляет значения аргументов, которые заменяют значения по умолчанию в dataclasses. Аргументы командной строки могут переопределять значения, установленные файлом конфигурации. Метод также устанавливает переменные окружения, указанные в поле `env` файла конфигурации.

#### parse_args_into_dataclasses[[trl.TrlParser.parse_args_into_dataclasses]]

```python
parse_args_into_dataclasses(args = None, return_remaining_strings = False, look_for_args_file = True, args_filename = None, args_file_flag = None)
```

[Источник](https://github.com/huggingface/trl/blob/v1.18.1/trl/scripts/_hf_argparser.py#L298)

**Параметры:**

args : Список строк для разбора. По умолчанию значение берётся из sys.argv. (аналогично argparse.ArgumentParser)

return_remaining_strings : Если true, также возвращает список оставшихся строковых аргументов.

look_for_args_file : Если значение равно true, будет выполняться поиск файла «.args» с тем же базовым именем, что и сценарий точки входа для данного процесса, и его содержимое (если оно есть) будет добавлено к аргументам командной строки.

args_filename : Если не None, будет использоваться этот файл вместо файла ".args", указанного в предыдущем аргументе.

args_file_flag : Если значение не None, будет искать файл в аргументах командной строки, указанных с этим флагом. Флаг можно указать несколько раз, а приоритет определяется порядком (действует последний).

**Возвращает:** `Tuple consisting of`

- экземпляры dataclass в том же порядке, в котором они были переданы в инициализатор.abspath
- при необходимости, дополнительное пространство имён для дополнительных (не основанных на dataclass) аргументов, добавляемых в парсер после инициализации.
- Потенциальный список оставшихся строковых аргументов. (аналогично argparse.ArgumentParser.parse_known_args)

Разобрать аргументы командной строки в экземпляры указанных типов dataclass.

Это опирается на `ArgumentParser.parse_known_args` из argparse. См. документацию: docs.python.org/3/library/argparse.html#argparse.ArgumentParser.parse_args

#### set_defaults_with_config[[trl.TrlParser.set_defaults_with_config]]

```python
set_defaults_with_config(**kwargs)
```

[Источник](https://github.com/huggingface/trl/blob/v1.18.1/trl/scripts/utils.py#L361)

Переопределяет значения по умолчанию парсера значениями, переданными через именованные аргументы, включая подпарсеры.

Любой аргумент, у которого обновлено значение по умолчанию, также будет помечен как необязательный, если ранее он был обязательным.

Возвращает список строк, которые не были обработаны парсером.

## get_dataset[[trl.get_dataset]]

#### trl.get_dataset[[trl.get_dataset]]

```python
trl.get_dataset(mixture_config: DatasetMixtureConfig)
```

[Источник](https://github.com/huggingface/trl/blob/v1.18.1/trl/scripts/utils.py#L414)

**Параметры:**

mixture_config ([DatasetMixtureConfig](/docs/trl/v1.18.1/ru/script_utils#trl.DatasetMixtureConfig)) : аргументы скрипта, содержащие конфигурацию набора данных.

**Возвращает:** [DatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.DatasetDict)

Объединённый набор данных из конфигурации смеси, с необязательным разделением на train/test, если задан `test_split_size`.

Загрузите смесь наборов данных на основе конфигурации.

Пример:
```python
>>> from trl import DatasetMixtureConfig, get_dataset
>>> from trl.scripts.utils import DatasetConfig

>>> mixture_config = DatasetMixtureConfig(datasets=[DatasetConfig(path="trl-lib/tldr")])
>>> get_dataset(mixture_config)
DatasetDict({
    train: Dataset({
        features: ['prompt', 'completion'],
        num_rows: 116722
    })
})
```

## DatasetConfig[[trl.scripts.utils.DatasetConfig]]

#### trl.scripts.utils.DatasetConfig[[trl.scripts.utils.DatasetConfig]]

```python
trl.scripts.utils.DatasetConfig(path: str, name: str | None = None, data_dir: str | None = None, data_files: str | list[str] | dict[str, str] | None = None, split: str = 'train', columns: list[str] | None = None, fraction: float | None = None)
```

[Источник](https://github.com/huggingface/trl/blob/v1.18.1/trl/scripts/utils.py#L40)

**Параметры:**

path (`str`) : Путь или имя набора данных.

name (`str`, *необязательный*) : Определение имени конфигурации набора данных.

data_dir (`str`, *необязательный*) : Определение `data_dir` для конфигурации набора данных. Если указано для универсальных сборщиков (csv, text и т. д.) или наборов данных Hub, а `data_files` равно `None`, поведение эквивалентно передаче `os.path.join(data_dir, **)` в качестве `data_files` для ссылки на все файлы в каталоге.

data_files (`str` или `Sequence` или `Mapping`, *необязательный*) : Путь (пути) к исходному файлу (файлам) данных.

split (`str`, *необязательный*, по умолчанию `"train"`) : Какая часть данных должна быть загружена.

columns (`list[str]`, *необязательный*) : Список имён столбцов для выбора из набора данных. Если `None`, выбираются все столбцы.

fraction (`float`, *optional*) : Целевая доля этого набора данных в итоговой смеси. Доли нормализуются так, чтобы их сумма по всем наборам данных равнялась единице, а размер смеси ограничивается так, чтобы ни один набор данных не был пересэмплирован: сохраняются первые `round(fraction * N)` строк каждого набора данных, где `N` — максимальный размер смеси, исключающий пересэмплирование. Должно быть задано для всех наборов данных в смеси или ни для одного из них. Не поддерживается для потоковых наборов данных. Если не задано, полные наборы данных конкатенируются.

Конфигурация набора данных.

Этот класс соответствует сигнатуре [load_dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/loading_methods#datasets.load_dataset), а аргументы используются непосредственно в функции [load_dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/loading_methods#datasets.load_dataset). Дополнительные сведения см. в документации [load_dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/loading_methods#datasets.load_dataset).

## DatasetMixtureConfig[[trl.DatasetMixtureConfig]]

#### trl.DatasetMixtureConfig[[trl.DatasetMixtureConfig]]

```python
trl.DatasetMixtureConfig(datasets: list[trl.scripts.utils.DatasetConfig] = <factory>, streaming: bool = False, test_split_size: float | None = None)
```

[Источник](https://github.com/huggingface/trl/blob/v1.18.1/trl/scripts/utils.py#L81)

**Параметры:**

datasets (`list[DatasetConfig]`) : список конфигураций наборов данных, которые нужно включить в смесь.

streaming (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли использовать потоковую загрузку наборов данных. Если `True`, наборы данных будут загружаться в режиме потоковой обработки.

test_split_size (`float`, *optional*) : Размер тестовой выборки. Подробности см. в параметре `test_size` функции `train_test_split`. Если `None`, датасет не будет разделён на обучающую и тестовую выборки.

Класс конфигурации для смеси наборов данных.

С помощью [HfArgumentParser](https://huggingface.co/docs/transformers/v5.23.0/en/internal/trainer_utils#transformers.HfArgumentParser) мы можем превратить этот класс в аргументы [argparse](https://docs.python.org/3/library/argparse#module-argparse), которые можно указать в командной строке.

Использование:

При использовании CLI вы можете добавить следующий раздел в ваш YAML-файл конфигурации:

```yaml
datasets:
- path: ...
    name: ...
    data_dir: ...
    data_files: ...
    split: ...
    columns: ...
    fraction: ...
- path: ...
    name: ...
    data_dir: ...
    data_files: ...
    split: ...
    columns: ...
streaming: ...
test_split_size: ...
```

