Hugging Face's logo

Transformers documentation

Grounding DINO

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model, 2023-03-09 tarihinde HF papers'ta yayımlandı ve 2024-04-11 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Grounding DINO

Genel Bakış

Grounding DINO modeli, Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu ve Lei Zhang tarafından Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection makalesinde önerilmiştir. Grounding DINO, bir metin kodlayıcı ekleyerek kapalı küme nesne algılama modelini genişletir ve açık küme nesne algılama imkânı sağlar. Model, COCO üzerinde 52.5 AP gibi etkileyici sonuçlar elde eder.

Makalenin özeti aşağıdaki gibidir:

Bu makalede, Transformer tabanlı dedektör DINO'yu yerelleştirilmiş ön eğitimiyle birleştirerek, kategori adları veya atıf ifadeleri gibi insan girdileriyle keyfi nesneleri algılayabilen, Grounding DINO adında açık küme nesne dedektörü sunuyoruz. Açık küme nesne algılamanın temel çözümü, açık küme kavram genellemesi için kapalı küme bir dedektöre dilin eklenmesidir. Dil ve görme modalitelerini etkili bir şekilde birleştirmek için, kapalı küme dedektörü kavramsal olarak üç aşamaya ayırıyoruz ve bir özellik güçlendirici, dil yönlendirmeli sorgu seçimi ve çapraz modalite füzyonu için bir çapraz modalite çözücü içeren sıkı bir füzyon çözümü öneriyoruz. Önceki çalışmalar açık küme nesne algılamayı ağırlıklı olarak yeni kategorilerde değerlendirirken, niteliklerle belirlenen nesneler için atıf ifade anlama üzerinde de değerlendirme yapılmasını öneriyoruz. Grounding DINO, COCO, LVIS, ODinW ve RefCOCO/+/g üzerindeki kıyaslamaları da içeren üç ayarın tümünde olağanüstü iyi performans gösteriyor. Grounding DINO, COCO algılama sıfır atımlı aktarım kıyaslamasında, yani COCO'dan herhangi bir eğitim verisi kullanılmadan, 52,5 AP elde ediyor. ODinW sıfır atımlı kıyaslamasında ortalama 26,1 AP ile yeni bir rekor kırıyor.

drawing Grounding DINO overview. Taken from the original paper.

Bu model EduardoPacheco ve nielsr tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları

  • Görsel-metin çiftlerini model için hazırlamak için GroundingDinoProcessor kullanılabilir.
  • Metinde sınıfları ayırmak için nokta kullanın, örneğin “a cat. a dog.”
  • Birden fazla sınıf kullanıldığında (ör. "a cat. a dog."), çıktıları işleme almak için GroundingDinoProcessor'dan post_process_grounded_object_detection kullanın. Çünkü post_process_object_detection'dan dönen etiketler, prob > threshold olan model boyutundaki indeksleri temsil eder.

Sıfır atışlı nesne algılama için modeli nasıl kullanacağınız aşağıda gösterilmektedir:

import requests

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection

model_id = "IDEA-Research/grounding-dino-tiny"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id, device_map="auto")

image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(image_url, stream=True).raw)
# Check for cats and remote controls
text_labels = [["a cat", "a remote control"]]

inputs = processor(images=image, text=text_labels, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model(**inputs)

results = processor.post_process_grounded_object_detection(
    outputs,
    inputs.input_ids,
    threshold=0.4,
    text_threshold=0.3,
    target_sizes=[image.size[::-1]]
)

# Retrieve the first image result
result = results[0]
for box, score, labels in zip(result["boxes"], result["scores"], result["labels"]):
    box = [round(x, 2) for x in box.tolist()]
    print(f"Detected {labels} with confidence {round(score.item(), 3)} at location {box}")
Detected a cat with confidence 0.468 at location [344.78, 22.9, 637.3, 373.62]
Detected a cat with confidence 0.426 at location [11.74, 51.55, 316.51, 473.22]

Grounded SAM

Grounding DINO, Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks makalesinde tanıtıldığı gibi, metin tabanlı maske üretimi için Segment Anything modeliyle birleştirilebilir. Detaylar için bu demo defterine 🌍 bakabilirsiniz.

drawing Grounded SAM overview. Taken from the original repository.

Kaynaklar

Grounding DINO ile başlamanıza yardımcı olmak için resmi Hugging Face ve topluluk (🌎 ile belirtilen) kaynaklarının listesi. Burada yer alacak bir kaynak göndermek isterseniz, bir Pull Request açmaktan çekinmeyin; inceleyeceğiz! Kaynağın, mevcut bir kaynağı tekrarlamak yerine ideal olarak yeni bir şey göstermesi beklenir.

  • Grounding DINO ile çıkarım ve SAM ile birleştirilmesine ilişkin demo defterleri burada bulunabilir. 🌎

GroundingDinoImageProcessor

sınıf transformers.GroundingDinoImageProcessor

< >

( **kwargs: *<class 'transformers.models.grounding_dino.image_processing_grounding_dino.GroundingDinoImageProcessorKwargs'> )

Parametreler

  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'shortest_edge' -- 800, 'longest_edge': 1333}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, isteğe bağlı, varsayılan False) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan 2) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel, varsayılan 0.00392156862745098) — do_rescale True olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.485, 0.456, 0.406]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.229, 0.224, 0.225]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel, varsayılan True) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit bir kare boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • format (str, kwargs, opsiyonel, varsayılan AnnotationFormat.COCO_DETECTION) — Etiketlerin veri biçimi. “coco_detection” veya “coco_panoptic” değerlerinden biri.
  • do_convert_annotations (bool, kwargs, isteğe bağlı, varsayılan True) — GROUNDING_DINO modelinin beklediği formata dönüştürülüp dönüştürülmeyeceğini kontrol eder. Sınır kutularını (center_x, center_y, width, height) formatına ve [0, 1] aralığına dönüştürür. preprocess metodundaki do_convert_annotations parametresiyle geçersiz kılınabilir.

GroundingDinoImageProcessor görüntü işleyicisi oluşturur.

ön işleme

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]annotations: dict[str, int | str | list[dict]] | list[dict[str, int | str | list[dict]]] | None = Nonereturn_segmentation_masks: bool | None = Nonemasks_path: str | pathlib.Path | None = None**kwargs: *<class 'transformers.models.grounding_dino.image_processing_grounding_dino.GroundingDinoImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • annotations (AnnotationType veya list[AnnotationType], isteğe bağlı) — Görsellere uygulanan dolgu (padding) durumuna göre dönüştürülecek etiketler.
  • return_segmentation_masks (bool, isteğe bağlı, varsayılan self.return_segmentation_masks) — Segmentasyon maskelerinin döndürülüp döndürülmeyeceğini belirtir.
  • masks_path (str veya pathlib.Path, isteğe bağlı) — Segmentasyon maskelerini içeren dizinin yolu.
  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel) — do_rescale True olarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanmışsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • format (str, kwargs, opsiyonel, varsayılan AnnotationFormat.COCO_DETECTION) — Etiketlerin veri biçimi. “coco_detection” veya “coco_panoptic” değerlerinden biri.
  • do_convert_annotations (bool, kwargs, isteğe bağlı, varsayılan True) — GROUNDING_DINO modelinin beklediği formata dönüştürülüp dönüştürülmeyeceğini kontrol eder. Sınır kutularını (center_x, center_y, width, height) formatına ve [0, 1] aralığına dönüştürür. preprocess metodundaki do_convert_annotations parametresiyle geçersiz kılınabilir.

Dönüş değeri

~image_processing_base.BatchFeature

  • data (dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.).
  • tensor_type (Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.

GroundingDinoImageProcessorPil

sınıf transformers.GroundingDinoImageProcessorPil

< >

( **kwargs: *<class 'transformers.models.grounding_dino.image_processing_pil_grounding_dino.GroundingDinoImageProcessorKwargs'> )

Parametreler

  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'shortest_edge' -- 800, 'longest_edge': 1333}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, isteğe bağlı, varsayılan False) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan 2) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel, varsayılan 0.00392156862745098) — do_rescale True olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.485, 0.456, 0.406]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.229, 0.224, 0.225]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel, varsayılan True) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit bir kare boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • format (str, kwargs, opsiyonel, varsayılan AnnotationFormat.COCO_DETECTION) — Etiketlerin veri biçimi. “coco_detection” veya “coco_panoptic” değerlerinden biri.
  • do_convert_annotations (bool, kwargs, isteğe bağlı, varsayılan True) — GROUNDING_DINO modelinin beklediği formata dönüştürülüp dönüştürülmeyeceğini kontrol eder. Sınır kutularını (center_x, center_y, width, height) formatına ve [0, 1] aralığına dönüştürür. preprocess metodundaki do_convert_annotations parametresiyle geçersiz kılınabilir.

GroundingDinoImageProcessor görüntü işleyicisi oluşturur.

ön işleme

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]annotations: dict[str, int | str | list[dict]] | list[dict[str, int | str | list[dict]]] | None = Nonereturn_segmentation_masks: bool | None = Nonemasks_path: str | pathlib.Path | None = None**kwargs: *<class 'transformers.models.grounding_dino.image_processing_pil_grounding_dino.GroundingDinoImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • annotations (AnnotationType veya list[AnnotationType], isteğe bağlı) — Görsellere uygulanan dolgu (padding) durumuna göre dönüştürülecek etiketler.
  • return_segmentation_masks (bool, isteğe bağlı, varsayılan self.return_segmentation_masks) — Segmentasyon maskelerinin döndürülüp döndürülmeyeceğini belirtir.
  • masks_path (str veya pathlib.Path, isteğe bağlı) — Segmentasyon maskelerini içeren dizinin yolu.
  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel) — do_rescale True olarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanmışsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • format (str, kwargs, opsiyonel, varsayılan AnnotationFormat.COCO_DETECTION) — Etiketlerin veri biçimi. “coco_detection” veya “coco_panoptic” değerlerinden biri.
  • do_convert_annotations (bool, kwargs, isteğe bağlı, varsayılan True) — GROUNDING_DINO modelinin beklediği formata dönüştürülüp dönüştürülmeyeceğini kontrol eder. Sınır kutularını (center_x, center_y, width, height) formatına ve [0, 1] aralığına dönüştürür. preprocess metodundaki do_convert_annotations parametresiyle geçersiz kılınabilir.

Dönüş değeri

~image_processing_base.BatchFeature

  • data (dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.).
  • tensor_type (Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.

post_process_object_detection

< >

( outputs: GroundingDinoObjectDetectionOutputthreshold: float = 0.1target_sizes: transformers.utils.generic.TensorType | list[tuple] | None = None ) → list[Dict]

Parametreler

  • outputs (GroundingDinoObjectDetectionOutput) — Modelin ham çıktıları.
  • threshold (float, isteğe bağlı, varsayılan 0.1) — Nesne algılama tahminlerini tutmak için skor eşiği.
  • target_sizes (torch.Tensor veya list[tuple[int, int]], isteğe bağlı) — Her bir görüntünün hedef boyutunu (height, width) içeren (batch_size, 2) biçiminde bir tensör veya (tuple[int, int]) demetlerinin listesi. Ayarlanmazsa, tahminler yeniden boyutlandırılmaz.

Dönüş değeri

list[Dict]

Her biri aşağıdaki anahtarları içeren sözlüklerden oluşan bir liste:

  • “scores”: Görseldeki her tahmin edilen kutu için güven puanları.
  • “labels”: Modelin görüntüde tahmin ettiği sınıfların indeksleri.
  • “boxes”: (top_left_x, top_left_y, bottom_right_x, bottom_right_y) biçiminde görüntü sınırlayıcı kutuları.

GroundingDinoForObjectDetection'ün ham çıktısını (top_left_x, top_left_y, bottom_right_x, bottom_right_y) biçiminde nihai sınırlayıcı kutulara dönüştürür.

GroundingDinoProcessor

sınıf transformers.GroundingDinoProcessor

< >

( image_processortokenizer )

Parametreler

  • image_processor (GroundingDinoImageProcessor) — Görsel işleyici zorunlu bir girdidir.
  • tokenizer (BertTokenizer) — Tokenizer zorunlu bir girdidir.

Bir görüntü işleyiciyi ve bir belirteç oluşturucuyu tek bir işleyicide birleştiren bir GroundingDinoProcessor oluşturur.

GroundingDinoProcessor, GroundingDinoImageProcessor ve BertTokenizer sınıflarının tüm işlevlerini sunar. Daha fazla bilgi için ~GroundingDinoImageProcessor ve ~BertTokenizer belgelerine bakın.

__call__

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Nonetext: str | list[str] | list[list[str]] | None = Nonevideos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = Noneaudio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None**kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'> )

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], isteğe bağlı) — Ön işleme yapılacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • text (Union[str, list[str], list[list[str]]], isteğe bağlı) — Kodlanacak dizi veya dizi grubu. Her dizi bir metin veya metin listesi (önceden tokenize edilmiş metin) olabilir. Önceden tokenize edilmiş bir girdi geçirirseniz, gruplu girdilerle karışıklığı önlemek için is_split_into_words=True değerini ayarlayın.
  • videos (Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]], isteğe bağlı) — Ön işleme yapılacak video. Piksel değerleri 0 ile 255 arasında değişen tek bir video veya video partisi beklenir. Piksel değerleri 0 ile 1 arasında olan videoları geçiriyorsanız do_rescale=False olarak ayarlayın.
  • audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], isteğe bağlı) — Hazırlanacak ses veya sesler partisi. Her ses, bir NumPy dizisi veya PyTorch tensörü olabilir. NumPy dizisi/PyTorch tensörü durumunda, her sesin şekli (C, T) olmalıdır; burada C kanal sayısı, T ise sesin örnek uzunluğudur.
  • return_tensors (str veya TensorType, isteğe bağlı) — Belirlenirse, belirli bir çerçeveye ait tensörler döndürülür. Kabul edilen değerler şunlardır:
    • 'pt': PyTorch torch.Tensor nesnelerini döndürür.
    • 'np': NumPy np.ndarray nesnelerini döndürür.
  • **kwargs (ProcessingKwargs, isteğe bağlı) — Her modalite (metin, görüntüler, videolar, ses) için ek işleme seçenekleri. Modelle ilgili parametreler yukarıda listelenmiştir; desteklenen argümanların tam listesi için TypedDict sınıfına bakın.

post_process_grounded_object_detection

< >

( outputs: GroundingDinoObjectDetectionOutputinput_ids: transformers.utils.generic.TensorType | None = Nonethreshold: float = 0.25text_threshold: float = 0.25target_sizes: transformers.utils.generic.TensorType | list[tuple] | None = Nonetext_labels: list[list[str]] | None = None ) → list[Dict]

Parametreler

  • outputs (GroundingDinoObjectDetectionOutput) — Modelin ham çıktıları.
  • input_ids (torch.LongTensor, şekli (batch_size, sequence_length), isteğe bağlı) — Giriş metninin token kimlikleri. Sağlanmazsa model çıktısından alınır.
  • threshold (float, isteğe bağlı, varsayılan 0.25) — Güven skoru temelinde nesne algılama tahminlerini tutmak için eşik değeri.
  • text_threshold (float, isteğe bağlı, varsayılan 0.25) — Metin algılama tahminlerini korumak için kullanılan skor eşiği.
  • target_sizes (torch.Tensor veya list[tuple[int, int]], isteğe bağlı) — Her bir görüntünün hedef boyutunu (height, width) içeren (batch_size, 2) biçiminde bir tensör veya (tuple[int, int]) demetlerinin listesi. Ayarlanmazsa, tahminler yeniden boyutlandırılmaz.
  • text_labels (list[list[str]], isteğe bağlı) — Her görüntüde algılanacak aday etiketlerin listesi. Şu an kullanılmıyor, ancak sıfır atışlı nesne algılama hattının imzasında bulunması gerekiyor. Metin etiketleri bunun yerine outputs içinde sağlanan input_ids tensöründen çıkarılır.

Dönüş değeri

list[Dict]

Her biri şunları içeren sözlüklerden oluşan bir liste

  • scores: algılanan nesneler için güven puanlarını içeren tensör
  • boxes: [x0, y0, x1, y1] biçiminde sınırlayıcı kutuların tensörü
  • labels: algılanan her nesne için metin etiketleri listesi (v4.51.0 sürümünde tamsayı kimlikleriyle değiştirilecektir)
  • text_labels: algılanan nesneler için metin etiketleri listesi

GroundingDinoForObjectDetection'ün ham çıktısını (top_left_x, top_left_y, bottom_right_x, bottom_right_y) biçiminde nihai sınırlayıcı kutulara dönüştürür ve ilgili metin etiketini alır.

GroundingDinoConfig

sınıf transformers.GroundingDinoConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonenum_queries: int = 900encoder_layers: int = 6encoder_ffn_dim: int = 2048encoder_attention_heads: int = 8decoder_layers: int = 6decoder_ffn_dim: int = 2048decoder_attention_heads: int = 8activation_function: str = 'relu'd_model: int = 256dropout: float | int = 0.1attention_dropout: float | int = 0.0activation_dropout: float | int = 0.0auxiliary_loss: bool = Falseposition_embedding_type: str = 'sine'num_feature_levels: int = 4encoder_n_points: int = 4decoder_n_points: int = 4two_stage: bool = Trueclass_cost: float = 1.0bbox_cost: float = 5.0giou_cost: float = 2.0bbox_loss_coefficient: float = 5.0giou_loss_coefficient: float = 2.0focal_alpha: float = 0.25disable_custom_kernels: bool = Falsemax_text_len: int = 256text_enhancer_dropout: float | int = 0.0fusion_droppath: float | int = 0.1fusion_dropout: float | int = 0.0embedding_init_target: bool = Truequery_dim: int = 4decoder_bbox_embed_share: bool = Truetwo_stage_bbox_embed_share: bool = Falsepositional_embedding_temperature: int = 20init_std: float = 0.02layer_norm_eps: float = 1e-05tie_word_embeddings: bool = True )

Parametreler

  • is_encoder_decoder (bool, isteğe bağlı, varsayılan True) — Modelin bir kodlayıcı/çözücü olarak kullanılıp kullanılmadığı.
  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Backbone modelinin yapılandırması.
  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Metin omurgasının yapılandırma nesnesi veya sözlüğü.
  • num_queries (int, isteğe bağlı, varsayılan 900) — Nesne sorgusu sayısı, yani algılama yuvaları. Bu, GroundingDinoModel'in tek bir görüntüde algılayabileceği nesnelerin azami sayısıdır.
  • encoder_layers (int, isteğe bağlı, varsayılan 6) — Transformer kodlayıcısındaki gizli katman sayısı. Ayarlanmazsa num_layers ile aynı değeri kullanır.
  • encoder_ffn_dim (int, isteğe bağlı, varsayılan 2048) — Encoder'daki “ara” (genellikle feed-forward olarak adlandırılan) katmanın boyutluluğu.
  • encoder_attention_heads (int, isteğe bağlı, varsayılan 8) — Transformer kodlayıcısındaki her dikkat katmanı için dikkat başı sayısı.
  • decoder_layers (int, isteğe bağlı, varsayılan 6) — Transformer decoder'ındaki gizli katman sayısı. Ayarlanmazsa num_layers ile aynı değeri kullanır.
  • decoder_ffn_dim (int, isteğe bağlı, varsayılan 2048) — Decoder'daki “ara” (genellikle feed-forward olarak adlandırılan) katmanın boyutluluğu.
  • decoder_attention_heads (int, isteğe bağlı, varsayılan 8) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • activation_function (str, isteğe bağlı, varsayılan relu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • d_model (int, isteğe bağlı, varsayılan 256) — Kodlayıcı katmanlarının ve pooler katmanının boyutu.
  • dropout (Union[float, int], isteğe bağlı, varsayılan 0.1) — Tüm dropout katmanları için oran.
  • attention_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • activation_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Tamamen bağlı katmandaki aktivasyonlar için dropout oranı.
  • auxiliary_loss (bool, isteğe bağlı, varsayılan False) — Yardımcı çözümleme kayıplarının (her decoder katmanındaki kayıplar) kullanılıp kullanılmayacağı.
  • position_embedding_type (str, isteğe bağlı, varsayılan "sine") — Görsel özelliklerin üzerine kullanılacak konum gömme türü. "sine" veya "learned" değerlerinden biri.
  • num_feature_levels (int, isteğe bağlı, varsayılan 4) — Girdi özellik seviyelerinin sayısı.
  • encoder_n_points (int, isteğe bağlı, varsayılan 4) — Kodlayıcıdaki her dikkat başı için her özellik seviyesinde örneklenen anahtar sayısı.
  • decoder_n_points (int, isteğe bağlı, varsayılan 4) — Decoder'daki her dikkat başı için her özellik seviyesinde örneklenen anahtar sayısı.
  • two_stage (bool, isteğe bağlı, varsayılan True) — Bölge önerilerinin de Grounding DINO'nun bir varyantı tarafından üretilip, bunların daha sonra iteratif sınırlayıcı kutu iyileştirmesi için decoder'a beslendiği iki aşamalı deformable DETR uygulanıp uygulanmayacağını belirtir.
  • class_cost (float, isteğe bağlı, varsayılan 1.0) — Macar eşleştirme maliyetinde sınıflandırma hatasının göreli ağırlığı.
  • bbox_cost (float, isteğe bağlı, varsayılan 5.0) — Macar eşleştirme maliyetinde L1 sınırlayıcı kutu hatasının göreli ağırlığı.
  • giou_cost (float, isteğe bağlı, varsayılan 2.0) — Macar eşleştirme maliyetinde genelleştirilmiş IoU kaybının göreli ağırlığı.
  • bbox_loss_coefficient (float, isteğe bağlı, varsayılan 5.0) — Panoptik segmentasyon kaybında L1 sınırlayıcı kutu kaybının göreli ağırlığı.
  • giou_loss_coefficient (float, isteğe bağlı, varsayılan 2.0) — Panoptik segmentasyon kaybında genelleştirilmiş IoU kaybının göreli ağırlığı.
  • focal_alpha (float, isteğe bağlı, varsayılan 0.25) — Focal loss'taki Alpha parametresi.
  • disable_custom_kernels (bool, isteğe bağlı, varsayılan False) — Özel CUDA ve CPU çekirdeklerinin kullanımını devre dışı bırakır. Bu seçenek, özel çekirdeklerin PyTorch ONNX dışa aktarımı tarafından desteklenmediği için ONNX dışa aktarımı için gereklidir.
  • max_text_len (int, isteğe bağlı, varsayılan 256) — Metin girdisinin maksimum uzunluğu.
  • text_enhancer_dropout (float, isteğe bağlı, varsayılan 0.0) — Metin iyileştirici için dropout oranı.
  • fusion_droppath (float, isteğe bağlı, varsayılan 0.1) — Füzyon modülü için droppath oranı.
  • fusion_dropout (float, isteğe bağlı, varsayılan 0.0) — Füzyon modülü için dropout oranı.
  • embedding_init_target (bool, isteğe bağlı, varsayılan True) — Hedefin Embedding ağırlıklarıyla başlatılıp başlatılmayacağı.
  • query_dim (int, isteğe bağlı, varsayılan 4) — Sorgu vektörünün boyutu.
  • decoder_bbox_embed_share (bool, isteğe bağlı, varsayılan True) — Tüm decoder katmanları için bbox regresyon başının paylaşılıp paylaşılmayacağı.
  • two_stage_bbox_embed_share (bool, isteğe bağlı, varsayılan False) — İki aşamalı bbox üreticisi ile bölge önerisi üretimi arasında bbox gömme (embedding) paylaşılacak mı?
  • positional_embedding_temperature (float, isteğe bağlı, varsayılan 20) — Görüntü omurgasıyla birlikte kullanılan Sine Positional Embedding için sıcaklık.
  • init_std (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • tie_word_embeddings (bool, isteğe bağlı, varsayılan True) — Modelin tied_weights_keys eşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı.

Bu, bir Grounding DinoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Grounding Dino modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, IDEA-Research/grounding-dino-tiny ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnekler:

>>> from transformers import GroundingDinoConfig, GroundingDinoModel

>>> # Initializing a Grounding DINO IDEA-Research/grounding-dino-tiny style configuration
>>> configuration = GroundingDinoConfig()

>>> # Initializing a model (with random weights) from the IDEA-Research/grounding-dino-tiny style configuration
>>> model = GroundingDinoModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

GroundingDinoModel

sınıf transformers.GroundingDinoModel

< >

( config: GroundingDinoConfig )

Parametreler

  • config (GroundingDinoConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Üzerinde herhangi bir özel head bulunmayan, ham hidden-states çıktısı veren çıplak Grounding DINO Modeli (bir backbone ve encoder-decoder Transformer'dan oluşur).

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: Tensorinput_ids: Tensortoken_type_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonepixel_mask: typing.Optional[torch.Tensor] = Noneencoder_outputs = Noneoutput_attentions = Noneoutput_hidden_states = Nonereturn_dict = None**kwargs ) → GroundingDinoModelOutput or tuple(torch.Tensor)

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri GroundingDinoImageProcessor kullanılarak elde edilebilir. Ayrıntılar için GroundingDinoImageProcessor.call() bölümüne bakın (GroundingDinoProcessor, görüntüleri işlemek için GroundingDinoImageProcessor kullanır).
  • input_ids (torch.LongTensor şeklinde (batch_size, text_sequence_length)) — Girdi dizisi token'larının sözlükteki indeksleri. Varsayılan olarak, padding sağlarsanız bu göz ardı edilir.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için BertTokenizer.call() bölümüne bakın.

  • token_type_ids (torch.LongTensor şeklinde (batch_size, text_sequence_length), isteğe bağlı) — Girdilerin ilk ve ikinci bölümlerini belirtmek için segment token dizinleri. Dizinler [0, 1]: 0 bir sentence A token'ına karşılık gelir, 1 ise bir sentence B token'ına karşılık gelir

    Token type ID'leri nelerdir?

  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • pixel_mask (torch.Tensor şeklinde (batch_size, height, width), isteğe bağlı) — Doldurma piksel değerlerinde dikkat işleminin uygulanmaması için maske. Seçilen maske değerleri [0, 1]:
    • gerçek olan (yani maske uygulanmamış) pikseller için 1,
    • Dolgu olan (yani maskelenmiş) pikseller için 0.

    Dikkat maskeleri nedir?

  • encoder_outputs (`) -- Tuple consists of (last_hidden_state, *optional*: hidden_states, *optional*: attentions) last_hidden_stateof shape(batch_size, sequence_length, hidden_size)`, optional) is a sequence of hidden-states at the output of the last layer of the encoder. Used in the cross-attention of the decoder.
  • output_attentions (`) -- Whether or not to return the attentions tensors of all attention layers. See attentions` under returned tensors for more detail.
  • output_hidden_states (`) -- Whether or not to return the hidden states of all layers. See hidden_states` under returned tensors for more detail.
  • return_dict (“) — Düz bir tuple yerine ModelOutput döndürülecek mi?

Dönüş değeri

GroundingDinoModelOutput veya tuple(torch.Tensor)

GroundingDinoModelOutput veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (GroundingDinoConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

GroundingDinoModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.Tensor, şekli (batch_size, num_queries, hidden_size)) — Modelin decoder'ının son katmanının çıktısındaki gizli durumlar dizisi.

  • init_reference_points (torch.Tensor, şekli (batch_size, num_queries, 4)) — Transformer decoder üzerinden gönderilen başlangıç referans noktaları.

  • intermediate_hidden_states (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, hidden_size)) — Yığılmış ara gizli durumlar (decoder'ın her katmanının çıktısı).

  • intermediate_reference_points (torch.Tensor, şekli (batch_size, config.decoder_layers, num_queries, 4)) — Yığılmış ara referans noktaları (decoder'ın her katmanının referans noktaları).

  • decoder_hidden_states (tuple[torch.Tensor], isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren bir tuple, şekli (batch_size, sequence_length, hidden_size).

    Her katmanın çıktısında ve başlangıç gömme çıktılarında dekodlayıcının gizli durumları.

  • decoder_attentions (tuple[tuple[torch.Tensor]], isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat ağırlıkları, dikkat softmax'ından sonra, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılan dekoderin

  • encoder_last_hidden_state_vision (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin kodlayıcısının son katmanının çıktısındaki gizli durumlar dizisi.

  • encoder_last_hidden_state_text (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin kodlayıcısının (encoder) son katmanının çıktısındaki gizli durumlar (hidden-states) dizisi.

  • encoder_vision_hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (görsel gömme çıktısı için bir tane + her katman çıktısı için bir tane) içeren bir tuple, şekli (batch_size, sequence_length, hidden_size). Görsel kodlayıcının her katman çıktısındaki gizli durumları ve başlangıç gömme çıktıları.

  • encoder_text_hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor içeren bir tuple (metin gömme çıktısı için bir tane + her katman çıktısı için birer tane) (batch_size, sequence_length, hidden_size) biçiminde. Metin kodlayıcısının her katman çıktısındaki gizli durumları ve başlangıç gömme çıktıları.

  • encoder_attentions (tuple(tuple(torch.Tensor)), opsiyonel, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (her katman için dikkat için bir tane) içeren tuple'ların tuple'ı, şekli (batch_size, num_heads, sequence_length, sequence_length). Dikkat softmax'ı sonrası dikkat ağırlıkları, metin-görüntü dikkati, görüntü-metin dikkati, metin güçlendirici (öz-dikkat) ve çok ölçekli deformable dikkat başlıklarında ağırlıklı ortalama hesaplamak için kullanılır. dikkat softmax'ı, çift dikkat başlıklarında ağırlıklı ortalama hesaplamak için kullanılır.

  • enc_outputs_class (torch.Tensor, şekli (batch_size, sequence_length, config.num_labels), isteğe bağlı, config.two_stage=True olduğunda döndürülür) — İlk aşamada bölge önerileri olarak seçilen en yüksek config.num_queries puanlı sınırlayıcı kutuların tahmini sınırlayıcı kutu puanları. Sınırlayıcı kutu ikili sınıflandırmasının (yani ön plan ve arka plan) çıktısı.

  • enc_outputs_coord_logits (torch.Tensor, şekli (batch_size, sequence_length, 4), opsiyonel, config.two_stage=True olduğunda döndürülür) — Birinci aşamada tahmin edilen sınırlayıcı kutu koordinatlarının logitleri.

  • encoder_logits (torch.Tensor, şekli (batch_size, sequence_length, config.num_labels), isteğe bağlı, config.two_stage=True olduğunda döndürülür) — Birinci aşamada en yüksek puanı alan config.num_queries sınırlayıcı kutunun logitleri.

  • encoder_pred_boxes (torch.Tensor, şekli (batch_size, sequence_length, 4), isteğe bağlı, config.two_stage=True olduğunda döndürülür) — Birinci aşamada en yüksek puan alan config.num_queries sınırlayıcı kutusunun koordinatları.

Örnekler:

>>> from transformers import AutoProcessor, AutoModel
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> text = "a cat."

>>> processor = AutoProcessor.from_pretrained("IDEA-Research/grounding-dino-tiny")
>>> model = AutoModel.from_pretrained("IDEA-Research/grounding-dino-tiny")

>>> inputs = processor(images=image, text=text, return_tensors="pt")
>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 900, 256]

GroundingDinoForObjectDetection

sınıf transformers.GroundingDinoForObjectDetection

< >

( config: GroundingDinoConfig )

Parametreler

  • config (GroundingDinoConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Üzerinde nesne algılama başlıkları bulunan, COCO algılama gibi görevler için kullanılan, bir omurga ve kodlayıcı-çözücü Transformer'dan oluşan Grounding DINO Modeli,

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: Tensorinput_ids: LongTensortoken_type_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.LongTensor] = Nonepixel_mask: typing.Optional[torch.BoolTensor] = Noneencoder_outputs: transformers.models.grounding_dino.modeling_grounding_dino.GroundingDinoEncoderOutput | tuple | None = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Nonelabels: list[dict[str, typing.Union[torch.LongTensor, torch.Tensor]]] | None = None**kwargs )

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri GroundingDinoImageProcessor kullanılarak elde edilebilir. Ayrıntılar için GroundingDinoImageProcessor.call() bölümüne bakın (GroundingDinoProcessor, görüntüleri işlemek için GroundingDinoImageProcessor kullanır).
  • input_ids (torch.LongTensor şeklinde (batch_size, text_sequence_length)) — Girdi dizisi token'larının sözlükteki indeksleri. Varsayılan olarak, padding sağlarsanız bu göz ardı edilir.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için BertTokenizer.call() bölümüne bakın.

  • token_type_ids (torch.LongTensor şeklinde (batch_size, text_sequence_length), isteğe bağlı) — Girdilerin ilk ve ikinci bölümlerini belirtmek için segment token dizinleri. Dizinler [0, 1]: 0 bir sentence A token'ına karşılık gelir, 1 ise bir sentence B token'ına karşılık gelir

    Token type ID'leri nelerdir?

  • attention_mask (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • pixel_mask (torch.BoolTensor şeklinde (batch_size, height, width), isteğe bağlı) — Doldurma piksel değerlerinde dikkat işleminin uygulanmaması için maske. Seçilen maske değerleri [0, 1]:
    • gerçek olan (yani maske uygulanmamış) pikseller için 1,
    • Dolgu olan (yani maskelenmiş) pikseller için 0.

    Dikkat maskeleri nedir?

  • encoder_outputs (Union[~models.grounding_dino.modeling_grounding_dino.GroundingDinoEncoderOutput, tuple], isteğe bağlı) — (last_hidden_state, isteğe bağlı: hidden_states, isteğe bağlı: attentions) biçiminde bir demet last_hidden_state, (batch_size, sequence_length, hidden_size) boyutunda, isteğe bağlı) encoder'ın son katmanının çıktısındaki gizli durumlar dizisidir. Decoder'ın çapraz dikkat (cross-attention) mekanizmasında kullanılır.
  • output_attentions (bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki attentions bölümüne bakın.
  • output_hidden_states (bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki hidden_states bölümüne bakın.
  • return_dict (bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?
  • labels (list[Dict] of len (batch_size,), optional) — İki taraflı eşleştirme kaybını hesaplamak için etiketler. Her sözlük en azından aşağıdaki 2 anahtarı içeren bir sözlük listesi: ‘class_labels’ ve ‘boxes’ (sırasıyla batch içindeki bir görüntünün sınıf etiketleri ve sınırlayıcı kutuları). Sınıf etiketlerinin kendisi, uzunluğu (number of bounding boxes in the image,) olan bir torch.LongTensor ve kutuların ise şekli (number of bounding boxes in the image, 4) olan bir torch.Tensor olmalıdır.

GroundingDinoForObjectDetection forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

Örnekler:

>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> import torch
>>> from PIL import Image
>>> from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection

>>> model_id = "IDEA-Research/grounding-dino-tiny"
>>> device = "cuda"

>>> processor = AutoProcessor.from_pretrained(model_id)
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> # Check for cats and remote controls
>>> text_labels = [["a cat", "a remote control"]]

>>> inputs = processor(images=image, text=text_labels, return_tensors="pt").to(device)
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> results = processor.post_process_grounded_object_detection(
...     outputs,
...     threshold=0.4,
...     text_threshold=0.3,
...     target_sizes=[(image.height, image.width)]
... )
>>> # Retrieve the first image result
>>> result = results[0]
>>> for box, score, text_label in zip(result["boxes"], result["scores"], result["text_labels"]):
...     box = [round(x, 2) for x in box.tolist()]
...     print(f"Detected {text_label} with confidence {round(score.item(), 3)} at location {box}")
Detected a cat with confidence 0.479 at location [344.7, 23.11, 637.18, 374.28]
Detected a cat with confidence 0.438 at location [12.27, 51.91, 316.86, 472.44]
Detected a remote control with confidence 0.478 at location [38.57, 70.0, 176.78, 118.18]
Update on GitHub

←GraniteVision GroupViT→