Hugging Face's logo

Transformers documentation

PP-DocLayoutV4

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была добавлена в Hugging Face Transformers 2026-10-08.

PP-DocLayoutV4

Обзор

PP-DocLayoutV4 — это модель анализа макета документа, работающая «от входа до выхода», которая за один прямой проход предсказывает, что представляет собой каждый элемент макета, описывающий его четырехугольник, а также логиты, из которых декодируется порядок чтения.

Архитектура модели

PP-DocLayoutV4 сохраняет архитектуру RT-DETR, заложенную в предыдущей версии, — бэкбон HGNetV2, гибридный энкодер AIFI и деформируемый декодер, — и вносит три изменения:

  • Четырёхугольники вместо масок. PPDocLayoutV3ForObjectDetection предсказывал сегментационную маску для каждого запроса и подбирал к ней полигон. PP-DocLayoutV4 полностью отказывается от ветки масок и напрямую регрессирует четырёхточечный квад, закодированный как [center_x, center_y, dx1, dy1, ..., dx4, dy4] в пространстве сигмоиды. Это позволяет корректно обрабатывать документы с искажениями и перспективой без затрат на головку маски, а также больше не требует фиче-карту бэкбона с шагом 4.
  • Независимые по слоям головы. Каждый слой декодера имеет собственную голову для определения границ и классификации, а не разделяет единую голову с энкодером.
  • Две головы для определения порядка чтения и этап слияния. Наряду с головой относительного порядка из V3 (антисимметричная: «i читается раньше j?») есть голова последователя (ROOR: «j непосредственно следует за i?»). PPDocLayoutV4S2RFusion сворачивает затухающее транзитивное замыкание матрицы последователей обратно в логиты относительного порядка.

Порядок чтения не декодируется внутри модели. PPDocLayoutV4ForObjectDetection возвращает необработанные relative_order_logits и successor_order_logits, а post_process_object_detection() преобразует их в ранги, применяя пороговую обработку матрицы преемников для получения ориентированного ациклического графа (DAG), разрывая циклы, сортируя каждый связный компонент топологически и упорядочивая компоненты по их голосам относительного порядка.

Использование

Результаты, возвращаемые post_process_object_detection(), уже отсортированы в порядке чтения. Каждый результат содержит polygon_points — тензор формы (num_boxes, 4, 2) с регрессированными углами в порядке: верхний левый, верхний правый, нижний правый, нижний левый — а также boxes, описывающие прямоугольники, параллельные осям координат, для каждого четырехугольника, и order_seq — ранг каждого бокса, начиная с 0. В примере с AutoModel ниже order_seq выводится напрямую, в остальных примерах выводится позиция, начиная с 1, в отсортированном списке, которая равна order_seq + 1, если только один запрос не был сохранен под несколькими метками.

Пайплайн
AutoModel

Pipeline сохраняет порядок чтения в порядке возвращаемого списка, но сводит каждое обнаружение к оценке, метке и целочисленному ограничивающему прямоугольнику. Используйте путь AutoModel ниже, чтобы получить четырехугольники и order_seq.

from transformers import pipeline
from transformers.image_utils import load_image


image = load_image("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg")
layout_detector = pipeline("object-detection", model="PaddlePaddle/PP-DocLayoutV4_safetensors")
results = layout_detector(image)
for idx, res in enumerate(results):
    print(f"Order {idx + 1}: {res}")

Пакетный вывод

Передайте список изображений и один целевой размер для каждого изображения. Порядок чтения определяется отдельно для каждого изображения.

from transformers import AutoImageProcessor, AutoModelForObjectDetection
from transformers.image_utils import load_image


model_path = "PaddlePaddle/PP-DocLayoutV4_safetensors"
model = AutoModelForObjectDetection.from_pretrained(model_path, device_map="auto")
image_processor = AutoImageProcessor.from_pretrained(model_path)

image = load_image("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg")
inputs = image_processor(images=[image, image], return_tensors="pt").to(device=model.device, dtype=model.dtype)

outputs = model(**inputs)
results = image_processor.post_process_object_detection(outputs, target_sizes=[image.size[::-1]] * 2)
for result in results:
    print("result:")
    for idx, (score, label_id, box) in enumerate(zip(result["scores"], result["labels"], result["boxes"])):
        box = [round(i, 2) for i in box.tolist()]
        print(f"Order {idx + 1}: {model.config.id2label[label_id.item()]}, score: {score.item():.2f}, box: {box}")

PPDocLayoutV4ForObjectDetection

класс transformers.PPDocLayoutV4ForObjectDetection

< >

( config: PPDocLayoutV4Config )

Параметры

  • config (PPDocLayoutV4Config) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель PP-DocLayoutV4 (состоящая из backbone и encoder-decoder), выводящая квадратуры, class logits и reading order logits для таких задач, как анализ макета документа.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values: Tensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.Tensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PPDocLayoutV4ForObjectDetectionOutput or tuple(torch.Tensor)

Параметры

  • pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью image_processor_class. Подробности см. в image_processor_class.__call__ (processor_class использует image_processor_class для обработки изображений).
  • pixel_mask (torch.LongTensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей padding из вычислений внимания. Значения маски из диапазона [0, 1]:
    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).

    Что такое маски внимания?

  • encoder_outputs (torch.Tensor, необязательный) — Кортеж, состоящий из (last_hidden_state, необязательный: hidden_states, необязательный: attentions) last_hidden_state формы (batch_size, sequence_length, hidden_size), необязательный) — последовательность скрытых состояний на выходе последнего слоя энкодера. Используется в кросс-внимании декодера.
  • labels (list[Dict] длины (batch_size,), необязательный) — Не поддерживается: PP-DocLayoutV4 в Transformers поддерживает только инференс.

Возвращает

PPDocLayoutV4ForObjectDetectionOutput или tuple(torch.Tensor)

PPDocLayoutV4ForObjectDetectionOutput или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (None) и входных данных.

Метод forward класса PPDocLayoutV4ForObjectDetection переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • logits (torch.Tensor формы (batch_size, num_queries, config.num_labels)) — Логиты классификации (без no-object) для всех запросов.

  • pred_boxes (torch.Tensor формы (batch_size, num_queries, config.num_coords)) — нормализованные квадраты для всех запросов, закодированные как [center_x, center_y, dx1, dy1, ..., dx4, dy4], где смещения углов сдвинуты на +0.5. Используйте post_process_object_detection(), чтобы получить ненормализованные углы и их ограничивающие рамки.

  • last_hidden_state (torch.Tensor формы (batch_size, num_queries, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя декодера модели.

  • intermediate_hidden_states (torch.Tensor формы (batch_size, config.decoder_layers, num_queries, hidden_size)) — Стек промежуточных скрытых состояний (выход каждого слоя декодера).

  • intermediate_reference_points (torch.Tensor формы (batch_size, config.decoder_layers, num_queries, config.num_coords)) — Стек промежуточных опорных точек (уточнённые квадраты каждого слоя декодера).

  • decoder_hidden_states (tuple[torch.Tensor], необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.

  • decoder_attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

  • cross_attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания кросс-внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах кросс-внимания.

  • encoder_last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя энкодера модели.

  • encoder_hidden_states (tuple[torch.Tensor], необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.

  • encoder_attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

  • init_reference_points (torch.Tensor формы (batch_size, num_queries, config.num_coords)) — Начальные опорные точки квадратов, передаваемые через декодер Transformer.

  • enc_topk_logits (torch.Tensor формы (batch_size, num_queries, config.num_labels)) — Классовые логиты предложений энкодера, которые были выбраны в качестве запросов декодера.

  • enc_topk_bboxes (torch.Tensor формы (batch_size, num_queries, config.num_coords)) — Квадраты предложений энкодера, выбранные в качестве запросов декодера.

  • enc_outputs_class (torch.Tensor формы (batch_size, sequence_length, config.num_labels)) — Классовые логиты каждого предложения энкодера.

  • enc_outputs_coord_logits (torch.Tensor формы (batch_size, sequence_length, config.num_coords)) — Квадратные логиты каждого предложения энкодера.

  • denoising_meta_values (dict, необязательный) — Дополнительный словарь для значений, связанных с процессом денойзинга.

  • relative_order_logits (torch.Tensor формы (batch_size, config.num_queries, config.num_queries)) — Парные логиты относительного порядка чтения, после необязательного слияния S2R. Положительное значение relative_order_logits[i, j] означает, что запрос i читается раньше запроса j.

  • successor_order_logits (torch.Tensor формы (batch_size, config.num_queries, config.num_queries)) — Парные логиты прямого преемника (ROOR). Положительное значение successor_order_logits[i, j] означает, что запрос j непосредственно следует за запросом i.

Примеры:

>>> from transformers import AutoImageProcessor, AutoModelForObjectDetection
>>> from PIL import Image
>>> import httpx
>>> from io import BytesIO

>>> url = "https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/layout_demo.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> model_path = "PaddlePaddle/PP-DocLayoutV4_safetensors"
>>> image_processor = AutoImageProcessor.from_pretrained(model_path)
>>> model = AutoModelForObjectDetection.from_pretrained(model_path)

>>> inputs = image_processor(images=[image], return_tensors="pt")
>>> outputs = model(**inputs)

>>> # results are already sorted by reading order
>>> results = image_processor.post_process_object_detection(outputs, target_sizes=[image.size[::-1]])
>>> for result in results:
...     for idx, (score, label_id, box) in enumerate(zip(result["scores"], result["labels"], result["boxes"])):
...         box = [round(i, 2) for i in box.tolist()]
...         print(f"Order {idx + 1}: {model.config.id2label[label_id.item()]}: {score.item():.2f} {box}")
Order 1: text: 0.99 [336.07, 182.04, 894.17, 652.62]
Order 2: paragraph_title: 0.98 [336.45, 681.88, 868.78, 796.91]
Order 3: text: 0.99 [334.01, 840.84, 889.11, 1452.29]
Order 4: text: 0.99 [920.65, 183.62, 1476.75, 462.75]
Order 5: text: 0.99 [919.55, 482.55, 1479.85, 763.41]
Order 6: text: 0.98 [919.34, 844.48, 1481.28, 1219.44]
Order 7: text: 0.98 [920.84, 1238.61, 1467.66, 1374.54]
Order 8: text: 0.90 [334.24, 1612.85, 1478.79, 1730.92]
Order 9: text: 0.95 [334.25, 1755.98, 1467.34, 1845.6]
Order 10: text: 0.65 [337.14, 1909.47, 659.78, 1938.2]
Order 11: footnote: 0.78 [338.73, 2114.87, 1448.16, 2172.06]
Order 12: number: 0.98 [106.08, 2257.42, 134.76, 2281.3]
Order 13: footer: 0.93 [339.27, 2255.7, 984.16, 2282.81]

PPDocLayoutV4Model

класс transformers.PPDocLayoutV4Model

< >

( config: PPDocLayoutV4Config )

Параметры

  • config (PPDocLayoutV4Config) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель PP-DocLayoutV4 (состоящая из backbone и encoder-decoder), выводящая необработанные скрытые состояния без какого-либо head сверху.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values: Tensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.Tensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PPDocLayoutV4ModelOutput or tuple(torch.Tensor)

Параметры

  • pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью image_processor_class. Подробности см. в image_processor_class.__call__ (processor_class использует image_processor_class для обработки изображений).
  • pixel_mask (torch.LongTensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей padding из вычислений внимания. Значения маски из диапазона [0, 1]:
    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).

    Что такое маски внимания?

  • encoder_outputs (torch.Tensor, необязательный) — Кортеж, состоящий из (last_hidden_state, необязательный: hidden_states, необязательный: attentions) last_hidden_state формы (batch_size, sequence_length, hidden_size), необязательный) — последовательность скрытых состояний на выходе последнего слоя энкодера. Используется в кросс-внимании декодера.
  • labels (list[Dict] длины (batch_size,), необязательный) — Не поддерживается: PP-DocLayoutV4 в Transformers поддерживает только инференс.

Возвращает

PPDocLayoutV4ModelOutput или tuple(torch.Tensor)

PPDocLayoutV4ModelOutput или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (None) и входных данных.

Метод forward модели PPDocLayoutV4Model переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • last_hidden_state (torch.Tensor формы (batch_size, num_queries, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя декодера модели.

  • intermediate_hidden_states (torch.Tensor формы (batch_size, config.decoder_layers, num_queries, hidden_size)) — Стек промежуточных скрытых состояний (выход каждого слоя декодера).

  • intermediate_reference_points (torch.Tensor формы (batch_size, config.decoder_layers, num_queries, config.num_coords)) — Стек промежуточных опорных точек (уточнённые квадраты каждого слоя декодера).

  • decoder_hidden_states (tuple[torch.Tensor], необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов, если у модели есть слой эмбеддингов, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.

  • decoder_attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

  • cross_attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания кросс-внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах кросс-внимания.

  • encoder_last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя энкодера модели.

  • encoder_hidden_states (tuple[torch.Tensor], необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.

  • encoder_attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

  • init_reference_points (torch.Tensor формы (batch_size, num_queries, config.num_coords)) — Начальные опорные точки квадратов, передаваемые через декодер Transformer.

  • enc_topk_logits (torch.Tensor формы (batch_size, num_queries, config.num_labels)) — Классовые логиты предложений энкодера, которые были выбраны в качестве запросов декодера.

  • enc_topk_bboxes (torch.Tensor формы (batch_size, num_queries, config.num_coords)) — Квадраты предложений энкодера, выбранные в качестве запросов декодера.

  • enc_outputs_class (torch.Tensor формы (batch_size, sequence_length, config.num_labels)) — Классовые логиты каждого предложения энкодера.

  • enc_outputs_coord_logits (torch.Tensor формы (batch_size, sequence_length, config.num_coords)) — Квадратные логиты каждого предложения энкодера.

  • denoising_meta_values (dict, необязательный) — Дополнительный словарь для значений, связанных с процессом денойзинга.

  • logits (torch.Tensor формы (batch_size, num_queries, config.num_labels)) — Логиты классификации последнего слоя декодера.

  • relative_order_logits (torch.Tensor формы (batch_size, config.num_queries, config.num_queries)) — Парные логиты относительного порядка чтения, после необязательного слияния S2R.

  • successor_order_logits (torch.Tensor формы (batch_size, config.num_queries, config.num_queries)) — Парные логиты прямого преемника (ROOR).

PPDocLayoutV4Config

класс transformers.PPDocLayoutV4Config

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Trueinitializer_range: float = 0.01initializer_bias_prior_prob: float | None = Nonelayer_norm_eps: float = 1e-05batch_norm_eps: float = 1e-05tie_word_embeddings: bool = Truebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefreeze_backbone_batch_norms: bool = Trueencoder_hidden_dim: int = 256encoder_in_channels: list[int] | tuple[int, ...] = (512, 1024, 2048)feat_strides: list[int] | tuple[int, ...] = (8, 16, 32)encoder_layers: int = 1encoder_ffn_dim: int = 1024encoder_attention_heads: int = 8dropout: float | int = 0.0activation_dropout: float | int = 0.0encode_proj_layers: list[int] | tuple[int, ...] = (2,)positional_encoding_temperature: int = 10000encoder_activation_function: str = 'gelu'activation_function: str = 'silu'eval_size: list[int] | tuple[int, int] | None = Nonenormalize_before: bool = Falsehidden_expansion: float = 1.0num_queries: int = 300decoder_in_channels: list[int] | tuple[int, ...] = (256, 256, 256)decoder_ffn_dim: int = 1024num_feature_levels: int = 3decoder_n_points: int = 4decoder_layers: int = 6decoder_attention_heads: int = 8decoder_activation_function: str = 'relu'attention_dropout: float | int = 0.0num_denoising: int = 100anchor_image_size: list[int] | tuple[int, int] | None = Nonedisable_custom_kernels: bool = Trueglobal_pointer_head_size: int = 64gp_dropout_value: float | int = 0.1hidden_size: int = 256num_coords: int = 10s2r_steps: int = 3s2r_damping: float = 0.5s2r_closure_weight_init: float = 0.0 )

Параметры

  • is_encoder_decoder (bool, необязательный, по умолчанию True) — Указывает, используется ли модель в качестве энкодера/декодера.
  • initializer_range (float, необязательный, по умолчанию 0.01) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
  • initializer_bias_prior_prob (float, необязательный) — Априорная вероятность, используемая инициализатором смещений для инициализации смещений в enc_score_head и class_embed. Если None, по умолчанию используется 1 / (num_labels + 1).
  • layer_norm_eps (float, необязательный, по умолчанию 1e-05) — Значение epsilon, используемое слоями нормализации.
  • batch_norm_eps (float, необязательный, по умолчанию 1e-05) — Значение epsilon, используемое слоями batch normalization.
  • tie_word_embeddings (bool, необязательный, по умолчанию True) — Определяет, следует ли связывать веса эмбеддингов согласно маппингу tied_weights_keys модели.
  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Конфигурация модели-бэкбона.
  • freeze_backbone_batch_norms (bool, необязательный, по умолчанию True) — Определяет, следует ли заморозить слои batch normalization в backbone.
  • encoder_hidden_dim (int, необязательный, по умолчанию 256) — Размерность скрытых представлений.
  • encoder_in_channels (list, необязательный, по умолчанию [512, 1024, 2048]) — Многоуровневые входные признаки для энкодера.
  • feat_strides (list[int], необязательный, по умолчанию [8, 16, 32]) — Шаги, используемые в каждой feature map.
  • encoder_layers (int, необязательный, по умолчанию 1) — Количество скрытых слоев в кодере Transformer. Если не задано, используется то же значение, что и у num_layers.
  • encoder_ffn_dim (int, необязательный, по умолчанию 1024) — Размерность «промежуточного» (часто называемого feed-forward) слоя в энкодере.
  • encoder_attention_heads (int, необязательный, по умолчанию 8) — Количество голок внимания в каждом слое внимания в кодере Transformer.
  • dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент для всех слоёв dropout.
  • activation_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для активаций внутри полносвязного слоя.
  • encode_proj_layers (list[int], необязательный, по умолчанию [2]) — Индексы проецируемых слоёв, используемых в кодировщике.
  • positional_encoding_temperature (int, необязательный, по умолчанию 10000) — Параметр температуры, используемый для создания позиционных кодировок.
  • encoder_activation_function (str, необязательный, по умолчанию "gelu") — Нелинейная функция активации (функция или строка) в кодере и пулере. Если передана строка, поддерживаются значения "gelu", "relu", "silu" и "gelu_new".
  • activation_function (str, необязательный, по умолчанию silu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
  • eval_size (tuple[int, int], необязательный) — Высота и ширина, используемые для вычисления эффективной высоты и ширины позиционных эмбеддингов с учетом шага. Должно быть оставлено как None, чтобы воспроизвести эталонную реализацию, которая вычисляет позиционные эмбеддинги динамически.
  • normalize_before (bool, необязательный, по умолчанию False) — Определяет, следует ли применять нормализацию слоя в слое кодировщика трансформера перед модулями само-внимания и последовательной обработки.
  • hidden_expansion (float, необязательный, по умолчанию 1.0) — Коэффициент расширения для увеличения размерности RepVGGBlock и CSPRepLayer.
  • num_queries (int, необязательный, по умолчанию 300) — Количество запросов объектов.
  • decoder_in_channels (list, необязательный, по умолчанию [256, 256, 256]) — Размерность многоуровневых признаков для декодера
  • decoder_ffn_dim (int, необязательный, по умолчанию 1024) — Размерность «промежуточного» (часто называемого feed-forward) слоя в декодере.
  • num_feature_levels (int, необязательный, по умолчанию 3) — Количество уровней входных признаков.
  • decoder_n_points (int, необязательный, по умолчанию 4) — Количество выбранных ключей на каждом уровне признаков для каждой головы внимания в декодере.
  • decoder_layers (int, необязательный, по умолчанию 6) — Количество скрытых слоев в декодере Transformer. Если не задано, будет использовано то же значение, что и у num_layers.
  • decoder_attention_heads (int, необязательный, по умолчанию 8) — Количество головок внимания в каждом слое внимания декодера Transformer.
  • decoder_activation_function (str, необязательный, по умолчанию "relu") — Нелинейная функция активации (функция или строка) в декодере. Если передана строка, поддерживаются "gelu", "relu", "silu" и "gelu_new".
  • attention_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
  • num_denoising (int, необязательный, по умолчанию 100) — Общее количество задач или запросов денойзинга, используемых для контрастивного денойзинга.
  • anchor_image_size (tuple[int, int], optional) — Высота и ширина входного изображения, используемые при оценке для генерации якорных ограничивающих прямоугольников. Если значение равно None, применяется автоматическая генерация якорей.
  • disable_custom_kernels (bool, необязательный, по умолчанию True) — Указывает, следует ли отключать кастомные ядра.
  • global_pointer_head_size (int, необязательный, по умолчанию 64) — Размер глобальной указательной головы.
  • gp_dropout_value (float, необязательный, по умолчанию 0.1) — Вероятность dropout в глобальной указательной голове.
  • hidden_size (int, необязательный, по умолчанию 256) — Размерность декодерных слоёв, не включая гибридный энкодер. Также доступен как d_model — название, используемое в линейке RT-DETR, от которой происходит данная модель.
  • num_coords (int, необязательный, по умолчанию 10) — Размер параметризации рамки, предсказываемой bbox-головками. PP-DocLayoutV4 регрессирует четырехточечный квадрат, закодированный как [center_x, center_y, dx1, dy1, dx2, dy2, dx3, dy3, dx4, dy4] в пространстве сигмоиды, где смещения углов сдвинуты на +0.5. Поддерживается только значение 10.
  • s2r_steps (int, необязательный, по умолчанию 3) — Количество шагов распространения, используемых для приближённого вычисления транзитивного замыкания матрицы преемников.
  • s2r_damping (float, необязательный, по умолчанию 0.5) — Коэффициент затухания, применяемый к каждому дополнительному шагу распространения транзитивного замыкания.
  • s2r_closure_weight_init (float, необязательный, по умолчанию 0.0) — Начальное значение обучаемого гейта, задающего вес члена замыкания. По умолчанию равно 0.0, что обеспечивает численное тождество необученного модуля слияния с использованием только логитов относительного порядка.

Это класс конфигурации для хранения конфигурации модели PPDocLayoutV4Model. Он используется для создания модели Pp Doclayout V4 в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации PaddlePaddle/PP-DocLayoutV4_safetensors

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Примеры:

>>> from transformers import PPDocLayoutV4Config, PPDocLayoutV4ForObjectDetection

>>> # Initializing a PP-DocLayoutV4 configuration
>>> configuration = PPDocLayoutV4Config()

>>> # Initializing a model (with random weights) from the configuration
>>> model = PPDocLayoutV4ForObjectDetection(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PPDocLayoutV4ImageProcessor

класс transformers.PPDocLayoutV4ImageProcessor

< >

( **kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> )

Параметры

  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional, по умолчанию True) — Указывает, нужно ли изменять размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию {'height' -- 800, 'width': 800}): Определяет максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional, по умолчанию True) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию 3) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли выполнять рескейлинг изображения.
  • rescale_factor (float, kwargs, optional, по умолчанию 0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0, 0, 0]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [1, 1, 1]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • Returns stacked tensors if set to 'pt', otherwise returns a list of tensors. —

Создаёт процессор изображений PPDocLayoutV4ImageProcessor.

disable_grouping (bool, kwargs, optional): Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157 image_seq_length (int, kwargs, optional): Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]*argsimage_like_kwargs: dict[str, typing.Any] | None = None**kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> ) → ~image_processing_base.BatchFeature

Параметры

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
  • image_like_kwargs (dict[str, Any], необязательный) — Флаг для разработчиков, позволяющий передать дополнительные входные данные, похожие на изображения, которые также будут предобработаны. Используйте этот параметр только в том случае, если передача входных данных через kwarg не работает. Например, preprocess(images, masks=masks) — предпочтительный вариант, но для некоторых моделей он приводит к проблемам с приоритетом аргументов. В таких случаях можно использовать preprocess(images, image_like_inputs={"masks": masks}).
  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
  • rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

Возвращает

~image_processing_base.BatchFeature

  • data (dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.).
  • tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

Предобработка изображения или пакета изображений.

post_process_object_detection

< >

( outputsthreshold: float = 0.5target_sizes = None ) → list[Dict]

Параметры

  • outputs (PPDocLayoutV4ForObjectDetectionOutput) — Сырые выходные данные модели.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог оценки для сохранения предсказаний обнаружения объектов.
  • target_sizes (torch.Tensor or list[tuple[int, int]]) — Тензор формы (batch_size, 2) или список кортежей ((height, width)) с целевым размером каждого изображения в батче.

Возвращает

list[Dict]

Список словарей, по одному на изображение, каждый из которых содержит scores, labels, boxes, polygon_points и order_seq, предсказанные моделью. Предсказания отсортированы по порядку чтения, поэтому order_seq неубывающий (запрос, выбранный по нескольким меткам, сохраняет один ранг).

Преобразует необработанный вывод PPDocLayoutV4ForObjectDetection в итоговые квадраты, ограничивающие рамки в формате (top_left_x, top_left_y, bottom_right_x, bottom_right_y) и ранги порядка чтения. Поддерживается только PyTorch.

Update on GitHub

←PP-DocLayoutV3 PP-FormulaNet→