Transformers documentation

VideoPrism

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mô hình này được công bố trên HF papers vào ngày 2024-02-20 và được đóng góp cho Hugging Face Transformers vào ngày 2026-06-19.

FlashAttention

VideoPrism

Mô hình VideoPrism được đề xuất trong bài báo VideoPrism: A Foundational Visual Encoder for Video Understanding của Google DeepMind (bài đăng trên blog).

VideoPrism là một bộ mã hóa video đa năng, giải quyết các tác vụ hiểu video đa dạng bằng một mô hình đóng băng duy nhất. Mô hình được tiền huấn luyện trên một tập dữ liệu lớn, không đồng nhất, bao gồm 36 triệu cặp video-mô tả chất lượng cao và 582 triệu đoạn video có văn bản song song nhiễu (ví dụ: bản ghi ASR). Phương pháp tiền huấn luyện cải tiến so với mã hóa tự động có che (masked autoencoding) thông qua quá trình chưng cất toàn cục-cục bộ của các vector nhúng ngữ nghĩa video và một cơ chế xáo trộn token, cho phép mô hình tập trung chủ yếu vào phương thức video trong khi tận dụng văn bản liên quan đến video. VideoPrism đạt hiệu suất tiên tiến (state-of-the-art) trên 31 trong số 33 bộ chuẩn đánh giá hiểu video thuộc bốn nhóm tác vụ rộng, từ trả lời câu hỏi về video trên web đến thị giác máy tính cho khoa học.

drawing

Bạn có thể tìm thấy tất cả các checkpoint VideoPrism gốc trong bộ sưu tập VideoPrism.

Ghi chú:

  • VideoPrism sử dụng kiến trúc encoder không gian-thời gian phân rã, xử lý video thông qua các transformer không gian và thời gian riêng biệt.
  • Mô hình hỗ trợ học tương phản video-văn bản thông qua VideoPrismClipModel, kết hợp một bộ mã hóa video và một bộ mã hóa văn bản. VideoPrismConfig phải được sử dụng cùng với mô hình này.
  • Đối với các tác vụ phân loại video, hãy sử dụng VideoPrismForVideoClassification, mô hình này thêm một đầu phân loại phía trên bộ mã hóa video. VideoPrismVisionConfig phải được sử dụng cùng với mô hình này.
  • Bộ mã hóa thị giác có thể được sử dụng độc lập thông qua VideoPrismVisionModel để trích xuất đặc trưng video. VideoPrismVisionConfig phải được sử dụng cùng với mô hình này.
  • Độ phân giải đầu vào mặc định là 288x288 pixel với 16 khung hình cho mỗi đoạn video đối với các mô hình cơ bản và 8 khung hình đối với các mô hình lớn. Đặt interpolate_pos_encoding=True để sử dụng các mô hình với độ phân giải tùy chỉnh và số khung hình cho mỗi đoạn.

Mô hình này được đóng góp bởi MHRDYN7 và được xem xét bởi vasqu & zucchini-nlp. Mã nguồn gốc có thể được tìm thấy tại đây.

Ví dụ sử dụng

Đoạn mã dưới đây cho thấy cách nạp VideoPrismVisionModel để trích xuất đặc trưng bằng lớp AutoModel.

import torch
from transformers import AutoModel, AutoVideoProcessor

processor = AutoVideoProcessor.from_pretrained("google/videoprism-base-f16r288", revision="refs/pr/4")
model = AutoModel.from_pretrained(
    "google/videoprism-base-f16r288",
    revision="refs/pr/4",
    device_map="auto",
    # use "flash_attention_2" for faster inference on supported hardware
    # attn_implementation="flash_attention_2" 
)

video_url = "https://huggingface.co/datasets/nateraw/kinetics-mini/resolve/main/val/archery/-Qz25rXdMjE_000014_000024.mp4"

# when do_sample_frames=True, 16/8 frames will be sampled by default depending on the checkpoint size base/large.
processed_video_inputs = processor(videos=[video_url], return_metadata=True, do_sample_frames=True)
video_metadata = processed_video_inputs["video_metadata"]
video_inputs = processed_video_inputs["pixel_values_videos"].to(model.device)
outputs = model(video_inputs)

# VideoPrism encoder outputs
encoder_outputs = outputs.last_hidden_state

VideoPrismVisionConfig

lớp transformers.VideoPrismVisionConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneimage_size: int | list[int] | tuple[int, int] = 288num_frames: int = 16tubelet_size: list[int] | tuple[int, ...] = (1, 18, 18)num_channels: int = 3hidden_size: int = 768num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu_python'hidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-06qkv_bias: bool = Truenum_spatial_layers: int = 12num_temporal_layers: int = 4attn_logit_softcapping: float = 50.0num_auxiliary_layers: int = 2apply_l2norm: bool = True )

Tham số

  • image_size (Union[int, list[int], tuple[int, int]], tùy chọn, mặc định là 288) — Kích thước (độ phân giải) của mỗi hình ảnh.
  • num_frames (int, tùy chọn, mặc định là 16) — Số lượng khung hình trong video đầu vào.
  • tubelet_size (List[int], tùy chọn, mặc định là [1, 18, 18]) — Kích thước của tubelet patch.
  • num_channels (int, tùy chọn, mặc định là 3) — Số lượng kênh đầu vào.
  • hidden_size (int, tùy chọn, mặc định là 768) — Kích thước của các biểu diễn ẩn.
  • num_attention_heads (int, tùy chọn, mặc định là 12) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
  • intermediate_size (int, tùy chọn, mặc định là 3072) — Kích thước của các biểu diễn MLP.
  • hidden_act (str, tùy chọn, mặc định là gelu_python) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
  • hidden_dropout_prob (Union[float, int], tùy chọn, mặc định là 0.0) — Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler.
  • attention_probs_dropout_prob (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các xác suất chú ý.
  • initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
  • layer_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
  • qkv_bias (bool, tùy chọn, mặc định là True) — Có thêm bias cho queries, keys và values hay không.
  • num_spatial_layers (int, tùy chọn, mặc định là 12) — Số lượng khối biến đổi không gian.
  • num_temporal_layers (int, tùy chọn, mặc định là 4) — Số lượng khối transformer theo thời gian.
  • attn_logit_softcapping (float, tùy chọn, mặc định là 50.0) — Hằng số softcapping cho attention logits.
  • num_auxiliary_layers (int, tuỳ chọn, mặc định là 2) — Số lượng lớp phụ trợ. Tham số này được sử dụng trong VideoPrismVideoModel, một phần của VideoPrismClipModel.
  • apply_l2norm (bool, tuỳ chọn, mặc định là True) — Có áp dụng chuẩn hóa L2 cho đầu ra hay không. Điều này được sử dụng trong VideoPrismVideoModel, một phần của VideoPrismClipModel.

Đây là lớp cấu hình để lưu trữ cấu hình của một VideoPrismClipModel. Nó được sử dụng để khởi tạo một mô hình Videoprism theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của google/videoprism-base-f16r288

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

VideoPrismTextConfig

lớp transformers.VideoPrismTextConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 32000hidden_size: int = 768intermediate_size: int = 3072num_hidden_layers: int = 12num_attention_heads: int = 12max_position_embeddings: int = 64hidden_act: str = 'relu'layer_norm_eps: float = 1e-06pad_token_id: int | None = 0bos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Noneattention_probs_dropout_prob: float | int = 0.0apply_l2norm: bool = Trueqkv_bias: bool = Truehidden_dropout_prob: float = 0.0initializer_range: float = 0.02attn_logit_softcapping: float = 50.0 )

Tham số

  • vocab_size (int, tùy chọn, mặc định là 32000) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi input_ids.
  • hidden_size (int, tùy chọn, mặc định là 768) — Kích thước của các biểu diễn ẩn.
  • intermediate_size (int, tùy chọn, mặc định là 3072) — Kích thước của các biểu diễn MLP.
  • num_hidden_layers (int, tùy chọn, mặc định là 12) — Số lượng lớp ẩn trong bộ giải mã Transformer.
  • num_attention_heads (int, tùy chọn, mặc định là 12) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
  • max_position_embeddings (int, tùy chọn, mặc định là 64) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng.
  • hidden_act (str, tùy chọn, mặc định là relu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
  • layer_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
  • pad_token_id (int, tùy chọn, mặc định là 0) — Token id được sử dụng để đệm (padding) trong từ vựng.
  • bos_token_id (int, tùy chọn) — Token id được sử dụng cho beginning-of-stream trong bảng từ vựng.
  • eos_token_id (Union[int, list[int]], tùy chọn) — Token id được sử dụng cho end-of-stream trong bảng từ vựng.
  • attention_probs_dropout_prob (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các xác suất chú ý.
  • apply_l2norm (bool, tùy chọn, mặc định là True) — Có áp dụng chuẩn hóa L2 cho đầu ra của VideoPrismTextEncoder hay không.
  • qkv_bias (bool, tùy chọn, mặc định là True) — Có thêm bias cho queries, keys và values hay không.
  • hidden_dropout_prob (float, tùy chọn, mặc định là 0.0) — Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler.
  • initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
  • attn_logit_softcapping (float, tùy chọn, mặc định là 50.0) — Hằng số softcapping cho attention logits.

Đây là lớp cấu hình để lưu trữ cấu hình của một VideoPrismClipModel. Nó được sử dụng để khởi tạo một mô hình Videoprism theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của google/videoprism-lvt-base-f16r288

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

VideoPrismConfig

lớp transformers.VideoPrismConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )

Tham số

  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung văn bản.
  • vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung thị giác.

Đây là lớp cấu hình để lưu trữ cấu hình của một VideoPrismClipModel. Nó được sử dụng để khởi tạo một mô hình Videoprism theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của google/videoprism-lvt-base-f16r288

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Ví dụ:

>>> from transformers import VideoPrismClipModel, VideoPrismConfig

>>> # Initializing a VideoPrismConfig with default values
>>> configuration = VideoPrismConfig()

>>> # Initializing a VideoPrismClipModel with the configuration
>>> model = VideoPrismClipModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

VideoPrismTokenizer

lớp transformers.VideoPrismTokenizer

< >

( vocab: str | list[tuple[str, float]] | None = Noneeos_token = '</s>'unk_token = '<unk>'pad_token = '<pad>'_spm_precompiled_charsmap = Noneextra_ids = 100additional_special_tokens = None**kwargs )

Tạo một tokenizer VideoPrism, về cơ bản là một tokenizer T5 không có postprocessor (thêm một token EOS vào cuối chuỗi).

Tokenizer này kế thừa từ T5Tokenizer, lớp chứa hầu hết các phương thức chính. Người dùng nên tham khảo lớp cha này để biết thêm thông tin về các phương thức đó.

get_sentinel_token_ids

< >

( )

Lấy các ID token cho các token sentinel.

get_sentinel_tokens

< >

( )

Lấy danh sách các token sentinel (token extra_id) từ additional_special_tokens.

VideoPrismProcessor

lớp transformers.VideoPrismProcessor

< >

( video_processor = Nonetokenizer = None )

Tham số

  • video_processor (LlavaOnevisionVideoProcessor) — Bộ xử lý video là một đầu vào bắt buộc.
  • tokenizer (VideoPrismTokenizer) — Tokenizer là một đầu vào bắt buộc.

Tạo một VideoPrismProcessor, đóng gói một video processor và một tokenizer thành một processor duy nhất.

VideoPrismProcessor cung cấp đầy đủ các chức năng của LlavaOnevisionVideoProcessor và VideoPrismTokenizer. Xem ~LlavaOnevisionVideoProcessor và ~VideoPrismTokenizer để biết thêm thông tin.

VideoPrismVisionModel

lớp transformers.VideoPrismVisionModel

< >

( config: VideoPrismVisionConfig )

Tham số

  • config (VideoPrismVisionConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Bộ mã hóa thị giác VideoPrism thuần túy, xuất ra các trạng thái ẩn thô mà không có bất kỳ đầu cụ thể nào ở phía trên. Mô hình này là bộ mã hóa nền tảng được sử dụng trong VideoPrismVideoModel.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( pixel_values_videos: typing.Optional[torch.Tensor] = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithSpatialAndTemporalStates or tuple(torch.Tensor)

Tham số

  • pixel_values_videos (torch.Tensor có hình dạng (batch_size, num_frames, num_channels, frame_size, frame_size), tùy chọn) — Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng LlavaOnevisionVideoProcessor. Xem LlavaOnevisionVideoProcessor.call() để biết chi tiết (VideoPrismProcessor sử dụng LlavaOnevisionVideoProcessor để xử lý video).
  • interpolate_pos_encoding (bool, tùy chọn, mặc định là False) — Có nội suy các mã vị trí được huấn luyện trước hay không.

Trả về

BaseModelOutputWithSpatialAndTemporalStates hoặc tuple(torch.Tensor)

Một BaseModelOutputWithSpatialAndTemporalStates hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (VideoPrismConfig) và đầu vào.

Phương thức forward của VideoPrismVisionModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

  • hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

  • attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

  • last_temporal_hidden_state (torch.Tensor, tùy chọn) — Trạng thái ẩn cuối cùng của bộ mã hóa thời gian, thường có hình dạng (batch_size * num_patches, num_frames, hidden_size).

  • last_spatial_hidden_state (torch.Tensor, tùy chọn) — Trạng thái ẩn cuối cùng của bộ mã hóa không gian, thường có hình dạng (batch_size * num_frames, num_patches, hidden_size).

Ví dụ:

VideoPrismVideoModel

lớp transformers.VideoPrismVideoModel

< >

( config: VideoPrismVisionConfig )

Tham số

  • config (VideoPrismVisionConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Mô hình video VideoPrism bao gồm bộ mã hóa thị giác làm khung xương với các lớp mã hóa bổ trợ và một đầu pooling chú ý phía trên. Mô hình này được sử dụng trong VideoPrismClipModel.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( pixel_values_videos: Tensorinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

Tham số

  • pixel_values_videos (torch.Tensor có hình dạng (batch_size, num_frames, num_channels, frame_size, frame_size)) — Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng LlavaOnevisionVideoProcessor. Xem LlavaOnevisionVideoProcessor.call() để biết chi tiết (VideoPrismProcessor sử dụng LlavaOnevisionVideoProcessor để xử lý video).
  • interpolate_pos_encoding (bool, tùy chọn, mặc định là False) — Có nội suy các mã vị trí được huấn luyện trước hay không.

Trả về

BaseModelOutputWithPooling hoặc tuple(torch.Tensor)

Một BaseModelOutputWithPooling hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (VideoPrismConfig) và đầu vào.

Phương thức forward của VideoPrismVideoModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

  • pooler_output (torch.Tensor có hình dạng (batch_size, hidden_size)) — Trạng thái ẩn của lớp cuối cùng của token đầu tiên trong chuỗi (token phân loại) sau khi được xử lý thêm qua các lớp được sử dụng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.

  • hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

  • attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

VideoPrismTextModel

lớp transformers.VideoPrismTextModel

< >

( config: VideoPrismTextConfig )

Tham số

  • config (VideoPrismTextConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Bộ mã hóa văn bản VideoPrism thô, xuất ra các trạng thái ẩn cuối cùng mà không có đầu cụ thể nào ở trên. Mô hình này được sử dụng trong VideoPrismClipModel.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

Tham số

  • input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.

    Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào là gì?

  • attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
    • 1 cho các token không bị che,
    • 0 cho các token bị che.

    Mặt nạ chú ý là gì?

  • inputs_embeds (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
  • position_ids (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng [0, config.n_positions - 1].

    ID vị trí là gì?

Trả về

BaseModelOutputWithPooling hoặc tuple(torch.Tensor)

Một BaseModelOutputWithPooling hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (VideoPrismConfig) và đầu vào.

Phương thức forward của VideoPrismTextModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

  • pooler_output (torch.Tensor có hình dạng (batch_size, hidden_size)) — Trạng thái ẩn của lớp cuối cùng của token đầu tiên trong chuỗi (token phân loại) sau khi được xử lý thêm qua các lớp được sử dụng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.

  • hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

  • attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

VideoPrismClipModel

lớp transformers.VideoPrismClipModel

< >

( config: VideoPrismConfig )

Tham số

  • config (VideoPrismConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Mô hình VideoPrism cho học tương phản video-văn bản. Mô hình này bao gồm một VideoPrismVideoModel và một VideoPrismTextModel, và tính toán điểm tương đồng giữa các đầu vào video và văn bản.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( pixel_values_videos: Tensorinput_ids: Tensorattention_mask: typing.Optional[torch.Tensor] = Noneinterpolate_pos_encoding: bool | None = Falsetemperature: float | None = Nonereturn_loss: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → VideoPrismClipOutput or tuple(torch.Tensor)

Tham số

  • pixel_values_videos (torch.Tensor có hình dạng (batch_size, num_frames, num_channels, frame_size, frame_size)) — Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng LlavaOnevisionVideoProcessor. Xem LlavaOnevisionVideoProcessor.call() để biết chi tiết (VideoPrismProcessor sử dụng LlavaOnevisionVideoProcessor để xử lý video).
  • input_ids (torch.Tensor có dạng (batch_size, sequence_length)) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Token padding sẽ bị bỏ qua theo mặc định.

    Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào là gì?

  • attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
    • 1 cho các token không bị che,
    • 0 cho các token bị che.

    Mặt nạ chú ý là gì?

  • interpolate_pos_encoding (bool, tùy chọn, mặc định là False) — Có nội suy các mã vị trí được huấn luyện trước hay không.
  • temperature (float, tùy chọn) — Một giá trị vô hướng nhiệt độ để nhân vào các điểm tương đồng. Nếu không được cung cấp, sẽ không áp dụng phép nhân.
  • return_loss (bool, tùy chọn) — Có trả về tổn thất tương phản hay không.

Trả về

VideoPrismClipOutput hoặc tuple(torch.Tensor)

Một VideoPrismClipOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (VideoPrismConfig) và đầu vào.

Phương thức forward của VideoPrismClipModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • logits_per_video (torch.Tensor có hình dạng (video_batch_size, text_batch_size)) — Điểm tích vô hướng có tỷ lệ giữa video_embeds và text_embeds. Đây đại diện cho điểm độ tương tự giữa video và văn bản.
  • logits_per_text (torch.Tensor có hình dạng (text_batch_size, video_batch_size)) — Điểm tích vô hướng có trọng số giữa text_embeds và video_embeds. Đây là các điểm tương đồng giữa văn bản và video.
  • video_embeds (torch.Tensor có hình dạng (batch_size, output_dim)) — Các vector nhúng video thu được bằng cách áp dụng lớp chiếu lên đầu ra đã gom của VideoPrismVideoModel.
  • text_embeds (torch.Tensor có hình dạng (batch_size, output_dim)) — Các vector nhúng văn bản thu được bằng cách áp dụng lớp chiếu lên đầu ra đã gộp của VideoPrismTextModel.
  • video_model_output (~modeling_outputs.BaseModelOutputWithPooling, tùy chọn) — Đầu ra của VideoPrismVideoModel.
  • text_model_output (~modeling_outputs.BaseModelOutputWithPooling, tùy chọn) — Đầu ra của VideoPrismTextModel.
  • loss (torch.Tensor có shape (1,), tuỳ chọn, được trả về khi return_loss là True) — Mất tương phản cho độ tương tự video-văn bản.

Ví dụ:

VideoPrismForVideoClassification

lớp transformers.VideoPrismForVideoClassification

< >

( config: VideoPrismVisionConfig )

Tham số

  • config (VideoPrismVisionConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Model transformer VideoPrism với đầu phân loại video phía trên (một lớp tuyến tính phía trên bộ pooler chú ý).

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( pixel_values_videos: Tensorlabels: typing.Optional[torch.LongTensor] = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → ImageClassifierOutput or tuple(torch.Tensor)

Tham số

  • pixel_values_videos (torch.Tensor có hình dạng (batch_size, num_frames, num_channels, frame_size, frame_size)) — Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng LlavaOnevisionVideoProcessor. Xem LlavaOnevisionVideoProcessor.call() để biết chi tiết (VideoPrismProcessor sử dụng LlavaOnevisionVideoProcessor để xử lý video).
  • labels (torch.LongTensor có shape (batch_size,), tùy chọn) — Nhãn để tính loss phân loại/hồi quy ảnh. Các chỉ số phải nằm trong [0, ..., config.num_labels - 1]. Nếu config.num_labels == 1, loss hồi quy sẽ được tính (Mean-Square loss). Nếu config.num_labels > 1, loss phân loại sẽ được tính (Cross-Entropy).
  • interpolate_pos_encoding (bool, tùy chọn, mặc định là False) — Có nội suy các mã vị trí được huấn luyện trước hay không.

Trả về

ImageClassifierOutput hoặc tuple(torch.Tensor)

Một ImageClassifierOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (VideoPrismConfig) và đầu vào.

Phương thức forward của VideoPrismForVideoClassification ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • loss (torch.Tensor có shape (1,), optional, được trả về khi labels được cung cấp) — Loss phân loại (hoặc hồi quy nếu config.num_labels==1).

  • logits (torch.Tensor có hình dạng (batch_size, config.num_labels)) — Điểm phân loại (hoặc hồi quy nếu config.num_labels==1) (trước SoftMax).

  • hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi giai đoạn) có hình dạng (batch_size, sequence_length, hidden_size). Hidden-states (còn được gọi là feature maps) của mô hình tại đầu ra của mỗi giai đoạn.

  • attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, patch_size, sequence_length).

    Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

Update on GitHub