Transformers documentation

SAM3-LiteText

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Mô hình này được công bố trên HF papers vào ngày 12-02-2026 và được đóng góp cho Hugging Face Transformers vào ngày 13-04-2026.

SAM3-LiteText

Tổng quan

SAM3-LiteText được đề xuất trong SAM3-LiteText: An Anatomical Study of the SAM3 Text Encoder for Efficient Vision-Language Segmentation bởi Chengxi Zeng, Yuxuan Jiang, Ge Gao, Shuai Wang, Duolikun Danier, Bin Zhu, Stevan Rudinac, David Bull và Fan Zhang.

SAM3-LiteText là một biến thể nhẹ của SAM3, thay thế bộ mã hóa văn bản nặng của SAM3 (353M tham số) bằng một bộ mã hóa văn bản dựa trên MobileCLIP gọn nhẹ, được tối ưu thông qua chưng cất kiến thức. Bộ mã hóa ảnh ViT-H của SAM3 được giữ nguyên. Điều này làm giảm số tham số của bộ mã hóa văn bản lên đến 88% trong khi duy trì hiệu năng phân đoạn tương đương với mô hình gốc.

Tóm tắt từ bài báo như sau:

Các mô hình phân đoạn thị giác-ngôn ngữ như SAM3 cho phép định vị trực quan linh hoạt, được điều khiển bằng prompt, nhưng kế thừa các bộ mã hóa văn bản lớn, đa dụng vốn được thiết kế ban đầu cho việc hiểu ngôn ngữ mở. Trên thực tế, các prompt phân đoạn ngắn gọn, có cấu trúc và bị ràng buộc về mặt ngữ nghĩa, dẫn đến việc cung cấp quá mức đáng kể về năng lực của bộ mã hóa văn bản cũng như chi phí tính toán và bộ nhớ tồn tại dai dẳng. Trong bài báo này, chúng tôi thực hiện phân tích giải phẫu quy mô lớn về việc sử dụng prompt văn bản trong phân đoạn thị giác-ngôn ngữ, bao phủ 404.796 prompt thực tế trên nhiều bộ chuẩn đánh giá. Phân tích của chúng tôi tiết lộ sự dư thừa nghiêm trọng: hầu hết các cửa sổ ngữ cảnh bị khai thác không đầy đủ, việc sử dụng từ vựng rất thưa thớt, và các vector nhúng văn bản nằm trên một đa tạp chiều thấp bất chấp các biểu diễn chiều cao. Được thúc đẩy bởi những phát hiện này, chúng tôi đề xuất SAM3-LiteText, một khung mã hóa văn bản nhẹ thay thế bộ mã hóa văn bản gốc của SAM3 bằng một học sinh MobileCLIP gọn nhẹ được tối ưu hóa bằng phương pháp chưng cất tri thức. Các thí nghiệm mở rộng trên các bộ chuẩn đánh giá phân đoạn ảnh và video cho thấy SAM3-LiteText giảm số tham số của bộ mã hóa văn bản lên đến 88%, giảm đáng kể dung lượng bộ nhớ tĩnh, trong khi duy trì hiệu suất phân đoạn tương đương với mô hình gốc.

Kiến trúc bộ mã hóa văn bản dựa trên MobileCLIP và có ba biến thể:

Biến thể	Bộ mã hóa văn bản	Tham số văn bản	Giảm
SAM3-LiteText-S0-16	MobileCLIP-S0	42.54M	~88%
SAM3-LiteText-S1-16	MobileCLIP-S1	63.53M	~82%
SAM3-LiteText-L-16	MobileCLIP2-L	123.80M	~65%

Mô hình này được đóng góp bởi nielsr và yonigozlan. Mã nguồn gốc có thể được tìm thấy tại đây.

Cách sử dụng

SAM3-LiteText là một giải pháp thay thế trực tiếp cho SAM3 với bộ mã hóa văn bản nhẹ. Nó sử dụng cùng một bộ xử lý (Sam3Processor) và hỗ trợ cùng một giao diện gợi ý. Tham khảo tài liệu SAM3 để xem các ví dụ sử dụng chi tiết, bao gồm gợi ý bằng văn bản, gợi ý bằng hộp, suy luận theo lô, và nhiều hơn nữa.

from io import BytesIO

from huggingface_hub.utils import httpx
from PIL import Image

from transformers import AutoModel, AutoProcessor


model = AutoModel.from_pretrained("yonigozlan/sam3-litetext-s0", device_map="auto")
processor = AutoProcessor.from_pretrained("yonigozlan/sam3-litetext-s0")

image_url = "http://images.cocodataset.org/val2017/000000077595.jpg"
image = Image.open(BytesIO(httpx.get(image_url).content)).convert("RGB")

inputs = processor(images=image, text="ear", return_tensors="pt").to(model.device)

outputs = model(**inputs)

results = processor.post_process_instance_segmentation(
    outputs,
    threshold=0.5,
    mask_threshold=0.5,
    target_sizes=inputs.get("original_sizes").tolist(),
)[0]

print(f"Found {len(results['masks'])} objects")

Sam3LiteTextConfig

lớp transformers.Sam3LiteTextConfig

< source >

Tham số

vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung thị giác.
text_config (Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung văn bản.
geometry_encoder_config (dict hoặc Sam3LiteTextGeometryEncoderConfig, không bắt buộc) — Cấu hình cho bộ mã hóa hình học.
detr_encoder_config (dict hoặc Sam3LiteTextDETREncoderConfig, không bắt buộc) — Cấu hình cho bộ mã hóa DETR.
detr_decoder_config (dict hoặc Sam3LiteTextDETRDecoderConfig, tuỳ chọn) — Cấu hình cho bộ giải mã DETR.
mask_decoder_config (dict hoặc Sam3LiteTextMaskDecoderConfig, không bắt buộc) — Cấu hình cho bộ giải mã mặt nạ.
initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

Đây là lớp cấu hình để lưu trữ cấu hình của một Sam3LiteTextModel. Nó được sử dụng để khởi tạo một mô hình Sam3 Lite Text theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của yonigozlan/sam3-litetext-s0

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Ví dụ:

>>> from transformers import Sam3LiteTextConfig, Sam3LiteTextModel

>>> # Initializing a SAM3_LITE_TEXT configuration
>>> configuration = Sam3LiteTextConfig()

>>> # Initializing a model from the configuration
>>> model = Sam3LiteTextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Sam3LiteTextTextConfig

lớp transformers.Sam3LiteTextTextConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 49408hidden_size: int = 512intermediate_size: int = 2048projection_dim: int = 512num_hidden_layers: int = 12num_attention_heads: int = 8max_position_embeddings: int = 77hidden_act: str = 'gelu'layer_norm_eps: float = 1e-05attention_dropout: float = 0.0use_repmixer_blocks: bool = Truelayer_scale_init_value: float = 1e-05repmixer_kernel_size: int = 11 )

Tham số

vocab_size (int, tuỳ chọn, mặc định là 49408) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi input_ids.
hidden_size (int, tùy chọn, mặc định là 512) — Kích thước của các biểu diễn ẩn.
intermediate_size (int, tùy chọn, mặc định là 2048) — Kích thước của các biểu diễn MLP.
projection_dim (int, tùy chọn, mặc định là 512) — Số chiều của các lớp chiếu văn bản và thị giác.
num_hidden_layers (int, tùy chọn, mặc định là 12) — Số lượng lớp ẩn trong bộ giải mã Transformer.
num_attention_heads (int, tùy chọn, mặc định là 8) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
max_position_embeddings (int, tùy chọn, mặc định là 77) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng.
hidden_act (str, tùy chọn, mặc định là gelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
layer_norm_eps (float, tùy chọn, mặc định là 1e-05) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
attention_dropout (float, tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các xác suất chú ý.
use_repmixer_blocks (bool, tùy chọn, mặc định là True) — Có sử dụng các khối RepMixer (kiểu MobileCLIP) cho các lớp encoder đầu tiên và cuối cùng hay không. Khi False, tất cả các lớp đều là các lớp encoder Transformer tiêu chuẩn.
layer_scale_init_value (float, tùy chọn, mặc định là 1e-5) — Giá trị ban đầu cho các tham số layer-scale có thể học trong các khối RepMixer (các nhánh residual).
repmixer_kernel_size (int, tuỳ chọn, mặc định là 11) — Kích thước kernel cho các phép convolution depthwise trong các khối RepMixer (đường dẫn trộn token và feed-forward convolutional).

Sam3LiteTextGeometryEncoderConfig

lớp transformers.Sam3LiteTextGeometryEncoderConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 256num_layers: int = 3num_attention_heads: int = 8intermediate_size: int = 2048dropout: float | int = 0.1hidden_act: str = 'relu'hidden_dropout: float | int = 0.0layer_norm_eps: float = 1e-06roi_size: int = 7initializer_range: float = 0.02 )

Tham số

hidden_size (int, tùy chọn, mặc định là 256) — Kích thước của các biểu diễn ẩn.
num_layers (int, tùy chọn, mặc định là 3) — Số lượng lớp ẩn trong bộ giải mã Transformer.
num_attention_heads (int, tùy chọn, mặc định là 8) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
intermediate_size (int, tùy chọn, mặc định là 2048) — Kích thước của các biểu diễn MLP.
dropout (Union[float, int], tùy chọn, mặc định là 0.1) — Tỷ lệ cho tất cả các lớp dropout.
hidden_act (str, tùy chọn, mặc định là relu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
hidden_dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler.
layer_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
roi_size (int, tùy chọn, mặc định là 7) — Kích thước ROI cho các thao tác box pooling.
initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

Sam3LiteTextDETREncoderConfig

lớp transformers.Sam3LiteTextDETREncoderConfig

< source >

Tham số

hidden_size (int, tùy chọn, mặc định là 256) — Kích thước của các biểu diễn ẩn.
num_layers (int, tùy chọn, mặc định là 6) — Số lượng lớp ẩn trong bộ giải mã Transformer.
num_attention_heads (int, tùy chọn, mặc định là 8) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
intermediate_size (int, tùy chọn, mặc định là 2048) — Kích thước của các biểu diễn MLP.
dropout (Union[float, int], tùy chọn, mặc định là 0.1) — Tỷ lệ cho tất cả các lớp dropout.
hidden_act (str, tùy chọn, mặc định là relu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
hidden_dropout (float, tùy chọn, mặc định là 0.0) — Xác suất dropout cho các trạng thái ẩn.
layer_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

Sam3LiteTextDETRDecoderConfig

lớp transformers.Sam3LiteTextDETRDecoderConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 256num_layers: int = 6num_queries: int = 200num_attention_heads: int = 8intermediate_size: int = 2048dropout: float | int = 0.1hidden_act: str = 'relu'hidden_dropout: float | int = 0.0layer_norm_eps: float = 1e-06initializer_range: float = 0.02 )

Tham số

hidden_size (int, tùy chọn, mặc định là 256) — Kích thước của các biểu diễn ẩn.
num_layers (int, tùy chọn, mặc định là 6) — Số lượng lớp ẩn trong bộ giải mã Transformer.
num_queries (int, tùy chọn, mặc định là 200) — Số lượng truy vấn đối tượng.
num_attention_heads (int, tùy chọn, mặc định là 8) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
intermediate_size (int, tùy chọn, mặc định là 2048) — Kích thước của các biểu diễn MLP.
dropout (Union[float, int], tùy chọn, mặc định là 0.1) — Tỷ lệ cho tất cả các lớp dropout.
hidden_act (str, tùy chọn, mặc định là relu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
hidden_dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler.
layer_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

Sam3LiteTextMaskDecoderConfig

lớp transformers.Sam3LiteTextMaskDecoderConfig

< source >

Tham số

hidden_size (int, tùy chọn, mặc định là 256) — Kích thước của các biểu diễn ẩn.
num_upsampling_stages (int, tùy chọn, mặc định là 3) — Số lượng giai đoạn upsampling trong pixel decoder (FPN).
layer_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ cho tất cả các lớp dropout.
num_attention_heads (int, tùy chọn, mặc định là 8) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

Sam3LiteTextTextModel

lớp transformers.Sam3LiteTextTextModel

< source >

( config: Sam3LiteTextTextConfig )

Tham số

config (Sam3LiteTextTextConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Bộ mã hóa văn bản MobileCLIP MCT được sử dụng trong EfficientSAM3 LiteText.

Khi config.use_repmixer_blocks là True, lớp đầu tiên và lớp cuối cùng là các module Sam3LiteTextRepMixerBlock; các lớp còn lại là các lớp Sam3LiteTextTextEncoderLayer tiêu chuẩn.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sam3LiteTextTextEncoderOutput or tuple(torch.Tensor)

Tham số

input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.
Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

ID đầu vào là gì?
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?

Trả về

Sam3LiteTextTextEncoderOutput hoặc tuple(torch.Tensor)

Một Sam3LiteTextTextEncoderOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Sam3LiteTextConfig) và đầu vào.

Phương thức forward của Sam3LiteTextTextModel ghi đè phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Toàn bộ chuỗi trạng thái ẩn từ bộ mã hóa văn bản.
pooler_output (torch.Tensor có hình dạng (batch_size, projection_dim)) — Đầu ra được pool theo EOT và được chiếu lên projection_dim thông qua phép chiếu kiểu CLIP bên trong.
hidden_states (tuple(torch.Tensor), tuỳ chọn) — Bộ tuple chứa các trạng thái ẩn (hidden states) tại mỗi lớp, được trả về khi output_hidden_states=True.
attentions (tuple(torch.Tensor), tuỳ chọn) — Bộ ba trọng số chú ý tại mỗi lớp transformer, được trả về khi output_attentions=True.

Sam3LiteTextModel

lớp transformers.Sam3LiteTextModel

< source >

( config: Sam3LiteTextConfig )

forward

< source >

( pixel_values: typing.Optional[torch.Tensor] = Nonevision_embeds: transformers.models.sam3_lite_text.modeling_sam3_lite_text.Sam3LiteTextVisionEncoderOutput | None = Noneinput_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonetext_embeds: typing.Optional[torch.Tensor] = Noneinput_boxes: typing.Optional[torch.Tensor] = Noneinput_boxes_labels: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sam3LiteTextImageSegmentationOutput or tuple(torch.Tensor)

Tham số

pixel_values (torch.Tensor có hình dạng (batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng Sam3ImageProcessor. Xem Sam3ImageProcessor.call() để biết chi tiết (Sam3Processor sử dụng Sam3ImageProcessor để xử lý hình ảnh).
vision_embeds (Sam3LiteTextVisionEncoderOutput, optional) — Các embedding thị giác đã được tính trước. Có thể dùng để dễ dàng tái sử dụng các embedding thị giác. Nếu được cung cấp, pixel_values không nên được truyền vào. Loại trừ lẫn nhau với pixel_values.
input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.
Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

ID đầu vào là gì?
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
text_embeds (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Các embedding văn bản đã được tính trước. Có thể được sử dụng để dễ dàng tái sử dụng các embedding văn bản. Nếu được cung cấp, input_ids không nên được truyền vào. Loại trừ lẫn nhau với input_ids.
input_boxes (torch.Tensor có shape (batch_size, num_boxes, 4), tuỳ chọn) — Toạ độ hộp chuẩn hoá trong khoảng [0, 1], định dạng (cx, cy, w, h).
input_boxes_labels (torch.LongTensor có hình dạng (batch_size, num_boxes), tùy chọn) — Nhãn cho các hộp: 1 (dương), 0 (âm).

Trả về

Sam3LiteTextImageSegmentationOutput hoặc tuple(torch.Tensor)

Một Sam3LiteTextImageSegmentationOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Sam3LiteTextConfig) và đầu vào.

Phương thức forward của Sam3LiteTextModel ghi đè phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

pred_masks (torch.Tensor có hình dạng (batch_size, num_queries, height, width)) — Các mặt nạ phân đoạn dự đoán cho mỗi query.
pred_boxes (torch.Tensor có hình dạng (batch_size, num_queries, 4)) — Các hộp bao dự đoán ở định dạng (x1, y1, x2, y2).
pred_logits (torch.Tensor có hình dạng (batch_size, num_queries), tùy chọn) — Điểm tin cậy phân loại cho mỗi query, được tính thông qua tích vô hướng giữa các đặc trưng query của decoder và các đặc trưng văn bản.
presence_logits (torch.Tensor có hình dạng (batch_size, 1), tùy chọn) — Presence logits từ presence token của bộ giải mã DETR (chỉ lớp cuối cùng). Các giá trị này cho biết các đối tượng có hiện diện trong cảnh hay không. Có thể được sử dụng để tính toán điểm cuối cùng bằng cách nhân với pred_logits: final_scores = pred_logits.sigmoid() * presence_logits.sigmoid().
semantic_seg (torch.Tensor có hình dạng (batch_size, 1, height, width), tùy chọn) — Đầu ra phân đoạn ngữ nghĩa.
decoder_hidden_states (tuple[torch.Tensor], tuỳ chọn) — Bộ tuple chứa các trạng thái ẩn từ tất cả các lớp decoder của DETR. Mỗi tensor có hình dạng (batch_size, num_queries, hidden_size).
decoder_reference_boxes (torch.Tensor có hình dạng (num_layers, batch_size, num_queries, 4), tùy chọn) — Các hộp tham chiếu từ tất cả các lớp decoder của DETR.
encoder_hidden_states (tuple[torch.Tensor], tùy chọn) — Bộ tuple chứa các trạng thái ẩn từ tất cả các lớp encoder của DETR.
vision_hidden_states (tuple[torch.Tensor], tùy chọn) — Bộ tuple chứa các trạng thái ẩn từ tất cả các lớp của bộ mã hóa thị giác (ViT).
vision_attentions (tuple[torch.Tensor], tùy chọn) — Trọng số chú ý từ các lớp của bộ mã hóa thị giác (ViT).
detr_encoder_attentions (tuple[torch.Tensor], tùy chọn) — Trọng số chú ý từ các lớp encoder của DETR.
detr_decoder_attentions (tuple[torch.Tensor], tùy chọn) — Trọng số chú ý từ các lớp decoder của DETR (self-attention và cross-attention).
mask_decoder_attentions (tuple[torch.Tensor], tuỳ chọn) — Trọng số chú ý từ các lớp mask decoder.

Ví dụ:

>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> from transformers import AutoModel, AutoProcessor

>>> model = AutoModel.from_pretrained("facebook/sam3_lite_text")
>>> processor = AutoProcessor.from_pretrained("facebook/sam3_lite_text")

>>> url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/sam-car.png"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")
>>> text = "car"
>>> inputs = processor(images=image, text=text, return_tensors="pt")

>>> # Get segmentation output
>>> outputs = model(**inputs)
>>> pred_masks = outputs.pred_masks
>>> pred_boxes = outputs.pred_boxes

Sam3LiteTextPreTrainedModel

lớp transformers.Sam3LiteTextPreTrainedModel

< source >

( config: PreTrainedConfig*inputs**kwargs )

Tham số

config (PreTrainedConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

forward

( *args**kwargs )

Một giá trị giả lập cho một đường dẫn có dấu chấm (ví dụ: torch.float32): các chuỗi truy cập thuộc tính, các cuộc gọi hoạt động như các decorator pass-through, repr là đường dẫn có dấu chấm, và việc sử dụng nó như một lớp cơ sở sẽ thay thế bằng một lớp cơ sở type thông thường (PEP 560 __mro_entries__), do đó các lớp con thực sự vẫn giữ nguyên metaclass bình thường và inspect.signature sẽ đọc __init__ thực của chúng thay vì của một mock.

Update on GitHub

←SAM3 Video ShieldGemma2→