# EoMT ## Genel Bakış [The Encoder-only Mask Transformer](https://www.tue-mps.org/eomt) (EoMT) modeli, Tommie Kerssies, Niccolò Cavagnero, Alexander Hermans, Narges Norouzi, Giuseppe Averta, Bastian Leibe, Gijs Dubbelman ve Daan de Geus tarafından yazılan CVPR 2025 Highlight Paper *[Your ViT is Secretly an Image Segmentation Model](https://huggingface.co/papers/2503.19108)* makalesinde tanıtılmıştır. EoMT, Vision Transformers'ın görevlere özgü bileşenler olmadan görüntü segmentasyonunu verimli bir şekilde gerçekleştirebileceğini ortaya koymaktadır. Makalenin özeti aşağıdaki gibidir: *Vision Transformers (ViT), çeşitli bilgisayarla görme görevlerinde olağanüstü performans ve ölçeklenebilirlik göstermiştir. Tek ölçekli ViT'leri görüntü segmentasyonuna uygulamak için mevcut yöntemler, çok ölçekli özellikler üretmek için konvolüsyonel bir adaptör, bu özellikleri birleştirmek için bir piksel çözücü ve birleştirilmiş özellikleri kullanarak tahminlerde bulunmak için bir Transformer çözücü benimser. Bu makalede, yeterince büyük modeller ve kapsamlı ön eğitim verildiğinde, bu görevlere özgü bileşenlerin getirdiği indüktif önyargıların ViT tarafından kendisinin öğrenilebileceğini gösteriyoruz. Bu bulgulara dayanarak, düz ViT mimarisini görüntü segmentasyonu gerçekleştirmek için yeniden kullanan Encoder-only Mask Transformer'ı (EoMT) tanıtıyoruz. Büyük ölçekli modeller ve ön eğitim ile EoMT, görevlere özgü bileşenler kullanan en son modellerle benzer bir segmentasyon doğruluğu elde eder. Aynı zamanda, EoMT mimari sadeliği sayesinde bu yöntemlerden önemli ölçüde daha hızlıdır; örneğin, ViT-L ile 4 kata kadar daha hızlıdır. Farklı model boyutları boyunca EoMT, segmentasyon doğruluğu ve tahmin hızı arasında optimal bir denge sergileyerek, hesaplama kaynaklarının mimari karmaşıklık eklemek yerine ViT'nin kendisini ölçeklendirmek için harcanmasının daha iyi olacağını öne sürmektedir.* Bu model [Yaswanth Gali](https://huggingface.co/yaswanthgali) tarafından katkıda bulunmuştur. Orijinal kod [burada](https://github.com/tue-mps/eomt) bulunabilir. ## Mimari Bilgileri `EoMT` modeli, omurgası olarak **register token** içeren, DINOv2 ile ön eğitilmiş bir Vision Transformer kullanır. EoMT, önceki yaklaşımlarda yaygın olarak kullanılan görev özelindeki çözücüleri (decoder) gereksiz kılarak yalnızca kodlayıcıya (encoder) dayanır ve bu sayede segmentasyon hattını basitleştirir. Mimari olarak EoMT, küçük bir **öğrenilmiş sorgu** kümesi ve hafif bir **maske tahmin modülü** tanıtır. Bu sorgular, son kodlayıcı bloklarına enjekte edilerek görüntü yamaları ile nesne sorguları arasında **ortak dikkat** (joint attention) mekanizmasını mümkün kılar. Eğitim sırasında, her bir sorgunun ilgili bölgesine odaklanmasını kısıtlamak için **maskelenmiş dikkat** (masked attention) uygulanır; bu, çapraz dikkati (cross-attention) etkili bir şekilde taklit eder. Bu kısıtlama, **maske tavlama stratejisi** (mask annealing strategy) ile kademeli olarak kaldırılarak, segmentasyon performansından ödün vermeden **verimli, kodlayıcısız çıkarım** (decoder-free inference) sağlanır. drawing Model, birleşik bir mimari ve görev bazlı son işleme kullanarak anlamsal, örnek ve panoptik segmentasyonu destekler. ## Kullanım Örnekleri Önceden eğitilmiş modellerle çıkarım için EoMT'nin Hugging Face uygulamasını kullanın. ### Anlamsal Segmentasyon EoMT modeli, kayan pencere çıkarımı (sliding-window inference) kullanarak semantik segmentasyon gerçekleştirir. Girdi görüntüsü, kısa kenarı hedef girdi boyutuyla eşleşecek şekilde yeniden boyutlandırılır ve ardından üst üste binen kırpıntılara (crops) ayrılır. Her kırpıntı modelden geçirilir. Çıkarımın ardından, her kırpıntıdan elde edilen tahmini logitler birleştirilip orijinal görüntü boyutuna yeniden ölçeklenerek nihai segmentasyon maskesi elde edilir. > **Not:** **semantik segmentasyon** için özel bir hedef boyut kullanmak istiyorsanız, bunu şu formatta belirtin: `{"shortest_edge": 512}` Burada `longest_edge` verilmediğine dikkat edin — bu kasıtlıdır. Semantik segmentasyonda görüntüler genellikle **en kısa kenarın hedef boyuta eşit veya ondan büyük olacak şekilde ölçeklendirilir** bu nedenle longest_edge gerekli değildir. ```python import matplotlib.pyplot as plt import requests import torch from PIL import Image from transformers import AutoImageProcessor, EomtForUniversalSegmentation model_id = "tue-mps/ade20k_semantic_eomt_large_512" processor = AutoImageProcessor.from_pretrained(model_id) model = EomtForUniversalSegmentation.from_pretrained(model_id, device_map="auto") image = Image.open(requests.get("http://images.cocodataset.org/val2017/000000039769.jpg", stream=True).raw) inputs = processor( images=image, return_tensors="pt", ) with torch.inference_mode(): outputs = model(**inputs) # Prepare the original image size in the format (height, width) target_sizes = [(image.height, image.width)] # Post-process the model outputs to get final segmentation prediction preds = processor.post_process_semantic_segmentation( outputs, target_sizes=target_sizes, ) # Visualize the segmentation mask plt.imshow(preds[0]) plt.axis("off") plt.title("Semantic Segmentation") plt.show() ``` ### Örnek Segmentasyonu EoMT modeli, dolgulu çıkarım (padded inference) kullanarak örnek segmentasyonu gerçekleştirir. Girdi görüntüsü, uzun kenarı hedef girdi boyutuyla eşleşecek şekilde yeniden boyutlandırılır ve kısa kenar, kare oluşturmak için sıfır dolgusu (zero-padding) ile doldurulur. Sonuçta elde edilen maske ve sınıf logitleri, birleştirilmiş bir örnek segmentasyon haritası ile segment kimliği, sınıf etiketleri ve güven puanları gibi segment meta verilerini üretmek için son işleme (Mask2Former'dan uyarlanmış) tabi tutulur. > **Not:** Özel bir hedef boyut kullanmak için, boyutu aşağıdaki biçimde bir sözlük olarak belirtin: `{"shortest_edge": 512, "longest_edge": 512}` Hem instance hem de panoptic segmentasyon için, giriş görüntüleri bu hedef boyuta **ölçeklenir ve dolgu yapılır**. ```python import matplotlib.pyplot as plt import requests import torch from PIL import Image from transformers import AutoImageProcessor, EomtForUniversalSegmentation model_id = "tue-mps/coco_instance_eomt_large_640" processor = AutoImageProcessor.from_pretrained(model_id) model = EomtForUniversalSegmentation.from_pretrained(model_id, device_map="auto") image = Image.open(requests.get("http://images.cocodataset.org/val2017/000000039769.jpg", stream=True).raw) inputs = processor( images=image, return_tensors="pt", ) with torch.inference_mode(): outputs = model(**inputs) # Prepare the original image size in the format (height, width) target_sizes = [(image.height, image.width)] # Post-process the model outputs to get final segmentation prediction preds = processor.post_process_instance_segmentation( outputs, target_sizes=target_sizes, ) # Visualize the segmentation mask plt.imshow(preds[0]["segmentation"]) plt.axis("off") plt.title("Instance Segmentation") plt.show() ``` ### Panotik Segmentasyon EoMT modeli, örnek segmentasyonunda kullanılan aynı dolgulu çıkarım stratejisini kullanarak panoptik segmentasyon gerçekleştirir. Dolgu ve normalizasyon işlemlerinin ardından model, hem şey (örnekler) hem de madde (amorf bölgeler) sınıflarını tahmin eder. Sonuç olarak elde edilen maske ve sınıf logitleri, birleştirilmiş bir panoptik segmentasyon haritası ile segment kimliği, sınıf etiketleri ve güven puanları gibi segment meta verilerini üretmek için son işleme (Mask2Former'dan uyarlanmış) tabi tutulur. ```python import matplotlib.pyplot as plt import requests import torch from PIL import Image from transformers import AutoImageProcessor, EomtForUniversalSegmentation model_id = "tue-mps/coco_panoptic_eomt_large_640" processor = AutoImageProcessor.from_pretrained(model_id) model = EomtForUniversalSegmentation.from_pretrained(model_id, device_map="auto") image = Image.open(requests.get("http://images.cocodataset.org/val2017/000000039769.jpg", stream=True).raw) inputs = processor( images=image, return_tensors="pt", ) with torch.inference_mode(): outputs = model(**inputs) # Prepare the original image size in the format (height, width) target_sizes = [(image.height, image.width)] # Post-process the model outputs to get final segmentation prediction preds = processor.post_process_panoptic_segmentation( outputs, target_sizes=target_sizes, ) # Visualize the panoptic segmentation mask plt.imshow(preds[0]["segmentation"]) plt.axis("off") plt.title("Panoptic Segmentation") plt.show() ``` ## EomtImageProcessor[[transformers.EomtImageProcessor]] #### transformers.EomtImageProcessor[[transformers.EomtImageProcessor]] ```python transformers.EomtImageProcessor(**kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_eomt.py#L214) **Parametreler:** do_convert_rgb (`bool`, *kwargs*, *isteğe bağlı*) : Görselin RGB'ye dönüştürülüp dönüştürülmeyeceği. do_resize (`bool`, *kwargs*, *opsiyonel*, varsayılan `True`) : Görselin yeniden boyutlandırılıp boyutlandırılmayacağı. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, varsayılan `{'shortest_edge' : 640, 'longest_edge': 640}`): Modelin kabul ettiği maksimum giriş boyutlarını açıklar. default_to_square (`bool`, *kwargs*, *opsiyonel*, varsayılan `False`) : Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağını belirtir. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop` uygulandıktan sonra çıktı görüntüsünün boyutu. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, varsayılan `2`) : Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, `PILImageResampling` enum değerlerinden biri olabilir. Yalnızca `do_resize` `True` olarak ayarlanırsa etkilidir. do_rescale (`bool`, *kwargs*, *opsiyonel*, varsayılan `True`) : Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. rescale_factor (`float`, *kwargs*, *opsiyonel*, varsayılan `0.00392156862745098`) : `do_rescale` `True` olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü. do_normalize (`bool`, *kwargs*, *opsiyonel*, varsayılan `True`) : Görselin normalize edilip edilmeyeceğini belirtir. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opsiyonel*, varsayılan değeri `[0.485, 0.456, 0.406]`) : Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca `do_normalize` `True` olarak ayarlanırsa etkilidir. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opsiyonel*, varsayılan `[0.229, 0.224, 0.225]`) : Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca `do_normalize` `True` olarak ayarlanırsa etkilidir. do_pad (`bool`, *kwargs*, *opsiyonel*, varsayılan `False`) : Görselin dolgu (padding) uygulanıp uygulanmayacağını belirtir. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit bir kare boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Görsellerin doldurulacağı boyut, `{"height": int, "width" int}` biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. `pad_size` sağlanmazsa, görseller partideki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca `do_pad=True.` olduğunda uygulanır. do_center_crop (`bool`, *kwargs*, *opsiyonel*) : Görselin merkezden kırpılıp kırpılmayacağını belirtir. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *isteğe bağlı*) : Yalnızca `ChannelDimension.FIRST` desteklenir. Yavaş işleyicilerle uyumluluk için eklendi. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *isteğe bağlı*) : Girdi görüntüsünün kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir: - `"channels_first"` veya `ChannelDimension.FIRST`: (num_channels, height, width) biçiminde görüntü. - `"channels_last"` veya `ChannelDimension.LAST`: (height, width, num_channels) biçiminde görüntü. - `"none"` veya `ChannelDimension.NONE`: (height, width) biçiminde görüntü. device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'` olarak ayarlanırsa yığılmış tensörleri, aksi halde tensör listesi döndürür. disable_grouping (`bool`, *kwargs*, *opsiyonel*) : Görsellerin boyuta göre gruplandırılmasını devre dışı bırakarak bunların toplu olarak değil, tek tek işlenmesini sağlar. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, buradaki ayrıntılı açıklamalara dayalı ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *isteğe bağlı*) : Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak bu, gelecekteki modellerde bir işlemci özniteliği olarak ayarlanmalıdır. do_split_image (`bool`, *kwargs*, *opsiyonel*, varsayılan `self.do_split_image`) : Semantik segmentasyon için girdi görüntülerinin üst üste binen yamalar (patch) halinde bölünüp bölünmeyeceğini belirtir. `True` olarak ayarlanırsa, girdi görüntüleri yamalar arasında bir örtüşme olacak şekilde `size["shortest_edge"]` boyutunda yamalara bölünür. Aksi takdirde, girdi görüntüleri hedef boyuta dolgu (padding) uygulanarak ayarlanır. ignore_index (`int`, *kwargs*, *opsiyonel*, varsayılan `self.ignore_index`) : Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verilirse, segmentasyon haritasında 0 (arka plan) ile belirtilen pikseller `ignore_index` ile değiştirilir. EomtImageProcessor görüntü işleyicisi oluşturur. #### preprocess[[transformers.EomtImageProcessor.preprocess]] ```python preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: list[torch.Tensor] | None = None, instance_id_to_semantic_id: dict[int, int] | None = None, **kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_eomt.py#L273) **Parametreler:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Ön işlenecek görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa `do_rescale=False` olarak ayarlayın. segmentation_maps (`ImageInput`, *isteğe bağlı*) : İlgili görüntüler için ön işleme yapılacak segmentasyon haritaları. instance_id_to_semantic_id (`list[dict[int, int]]` veya `dict[int, int]`, *isteğe bağlı*) : Nesne örnek kimlikleri ile sınıf kimlikleri arasındaki eşleme. do_convert_rgb (`bool`, *kwargs*, *isteğe bağlı*) : Görselin RGB'ye dönüştürülüp dönüştürülmeyeceği. do_resize (`bool`, *kwargs*, *isteğe bağlı*) : Görselin yeniden boyutlandırılıp boyutlandırılmayacağı. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Modelin kabul ettiği maksimum giriş boyutlarını açıklar. default_to_square (`bool`, *kwargs*, *opsiyonel*) : Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görsel kullanılıp kullanılmayacağı. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop` uygulandıktan sonra çıktı görüntüsünün boyutu. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, `PILImageResampling` enum değerlerinden biri olabilir. Yalnızca `do_resize` `True` olarak ayarlanırsa etkilidir. do_rescale (`bool`, *kwargs*, *opsiyonel*) : Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. rescale_factor (`float`, *kwargs*, *opsiyonel*) : `do_rescale` `True` olarak ayarlanırsa görüntüyü yeniden ölçeklemek için yeniden ölçekleme çarpanı. do_normalize (`bool`, *kwargs*, *isteğe bağlı*) : Görüntünün normalize edilip edilmeyeceğini belirtir. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opsiyonel*) : Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca `do_normalize` `True` olarak ayarlanırsa etkilidir. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opsiyonel*) : Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca `do_normalize` `True` olarak ayarlanırsa etkilidir. do_pad (`bool`, *kwargs*, *isteğe bağlı*) : Görselin dolgu (padding) uygulanıp uygulanmayacağını belirtir. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit bir kare boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Görsellerin doldurulacağı boyut, `{"height": int, "width" int}` biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. `pad_size` sağlanmazsa, görseller partideki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca `do_pad=True.` olduğunda uygulanır. do_center_crop (`bool`, *kwargs*, *opsiyonel*) : Görselin merkezden kırpılıp kırpılmayacağını belirtir. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *isteğe bağlı*) : Yalnızca `ChannelDimension.FIRST` desteklenir. Yavaş işleyicilerle uyumluluk için eklendi. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *isteğe bağlı*) : Girdi görüntüsünün kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir: - `"channels_first"` veya `ChannelDimension.FIRST`: (num_channels, height, width) biçiminde görüntü. - `"channels_last"` veya `ChannelDimension.LAST`: (height, width, num_channels) biçiminde görüntü. - `"none"` veya `ChannelDimension.NONE`: (height, width) biçiminde görüntü. device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'` olarak ayarlanırsa yığılmış tensörleri, aksi halde tensör listesi döndürür. disable_grouping (`bool`, *kwargs*, *opsiyonel*) : Görsellerin boyuta göre gruplandırılmasını devre dışı bırakarak bunların toplu olarak değil, tek tek işlenmesini sağlar. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, buradaki ayrıntılı açıklamalara dayalı ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *isteğe bağlı*) : Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak bu, gelecekteki modellerde bir işlemci özniteliği olarak ayarlanmalıdır. do_split_image (`bool`, *kwargs*, *opsiyonel*, varsayılan `self.do_split_image`) : Semantik segmentasyon için girdi görüntülerinin üst üste binen yamalar (patch) halinde bölünüp bölünmeyeceğini belirtir. `True` olarak ayarlanırsa, girdi görüntüleri yamalar arasında bir örtüşme olacak şekilde `size["shortest_edge"]` boyutunda yamalara bölünür. Aksi takdirde, girdi görüntüleri hedef boyuta dolgu (padding) uygulanarak ayarlanır. ignore_index (`int`, *kwargs*, *opsiyonel*, varsayılan `self.ignore_index`) : Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verilirse, segmentasyon haritasında 0 (arka plan) ile belirtilen pikseller `ignore_index` ile değiştirilir. **Dönüş:** `~image_processing_base.BatchFeature` - **data** (`dict`) -- __call__ yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü ('pixel_values' vb.). - **tensor_type** (`Union[None, str, TensorType]`, *isteğe bağlı*) -- Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz. #### post_process_semantic_segmentation[[transformers.EomtImageProcessor.post_process_semantic_segmentation]] ```python post_process_semantic_segmentation(outputs, target_sizes: list, size: dict[str, int] | None = None, return_segmentation_scores: bool = False) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_eomt.py#L502) **Parametreler:** outputs ([EomtForUniversalSegmentation](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtForUniversalSegmentation)) : Modelin ham çıktıları. target_sizes (`list[tuple[int, int]]`) : Batch'teki her bir görüntünün hedef boyutunu (yükseklik, genişlik) içeren bir tuple (`tuple[int, int]`) listesi. size (`dict[str, int]`, *isteğe bağlı*) : Ara maskelerin ölçeklendirileceği boyut. Varsayılan olarak `self.size`'dir. return_segmentation_scores (`bool`, *isteğe bağlı*, varsayılan `False`) : Segmentasyon haritasının yanı sıra segmentasyon puanlarının da döndürülüp döndürülmeyeceğini belirtir. `True` olduğunda, döndürülen listenin her öğesi `segmentation` (sınıf kimlikleri, şekil `(height, width)`) ve `segmentation_scores` (şekil `(num_classes, height, width)`) alanlarına sahip bir `SemanticSegmentationPostProcessorOutput` nesnesidir. **Dönüş:** `list[torch.Tensor]` veya `list[SemanticSegmentationPostProcessorOutput]` `return_segmentation_scores=False` (varsayılan) olduğunda, her öğesi sınıf kimliklerine sahip, `(height, width)` biçiminde bir segmentasyon haritası olan, uzunluğu `batch_size` olan bir liste döndürülür. `return_segmentation_scores=True` olduğunda, `segmentation` (sınıf kimlikleri, `(height, width)` biçiminde) ve `segmentation_scores` (`(num_classes, height, width)` biçiminde) alanlarına sahip `SemanticSegmentationPostProcessorOutput` nesnelerinden oluşan bir liste döndürülür. Her iki durumda da `(height, width)`, hedef boyuta karşılık gelir. [EomtForUniversalSegmentation](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtForUniversalSegmentation) çıktısını anlamsal segmentasyon haritalarına dönüştürür. #### post_process_instance_segmentation[[transformers.EomtImageProcessor.post_process_instance_segmentation]] ```python post_process_instance_segmentation(outputs, target_sizes: list, threshold: float = 0.8, size: dict[str, int] | None = None) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_eomt.py#L635) Model çıktılarını Instance Segmentation Predictions olarak işler. #### post_process_panoptic_segmentation[[transformers.EomtImageProcessor.post_process_panoptic_segmentation]] ```python post_process_panoptic_segmentation(outputs, target_sizes: list, threshold: float = 0.8, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, stuff_classes: list[int] | None = None, size: dict[str, int] | None = None) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_eomt.py#L578) Model çıktılarını nihai panoptik segmentasyon tahminine dönüştürür. ## EomtImageProcessorPil[[transformers.EomtImageProcessorPil]] #### transformers.EomtImageProcessorPil[[transformers.EomtImageProcessorPil]] ```python transformers.EomtImageProcessorPil(**kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_pil_eomt.py#L215) **Parametreler:** do_convert_rgb (`bool`, *kwargs*, *isteğe bağlı*) : Görselin RGB'ye dönüştürülüp dönüştürülmeyeceği. do_resize (`bool`, *kwargs*, *opsiyonel*, varsayılan `True`) : Görselin yeniden boyutlandırılıp boyutlandırılmayacağı. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, varsayılan `{'shortest_edge' : 640, 'longest_edge': 640}`): Modelin kabul ettiği maksimum giriş boyutlarını açıklar. default_to_square (`bool`, *kwargs*, *opsiyonel*, varsayılan `False`) : Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağını belirtir. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop` uygulandıktan sonra çıktı görüntüsünün boyutu. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, varsayılan `2`) : Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, `PILImageResampling` enum değerlerinden biri olabilir. Yalnızca `do_resize` `True` olarak ayarlanırsa etkilidir. do_rescale (`bool`, *kwargs*, *opsiyonel*, varsayılan `True`) : Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. rescale_factor (`float`, *kwargs*, *opsiyonel*, varsayılan `0.00392156862745098`) : `do_rescale` `True` olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü. do_normalize (`bool`, *kwargs*, *opsiyonel*, varsayılan `True`) : Görselin normalize edilip edilmeyeceğini belirtir. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opsiyonel*, varsayılan değeri `[0.485, 0.456, 0.406]`) : Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca `do_normalize` `True` olarak ayarlanırsa etkilidir. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opsiyonel*, varsayılan `[0.229, 0.224, 0.225]`) : Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca `do_normalize` `True` olarak ayarlanırsa etkilidir. do_pad (`bool`, *kwargs*, *opsiyonel*, varsayılan `False`) : Görselin dolgu (padding) uygulanıp uygulanmayacağını belirtir. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit bir kare boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Görsellerin doldurulacağı boyut, `{"height": int, "width" int}` biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. `pad_size` sağlanmazsa, görseller partideki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca `do_pad=True.` olduğunda uygulanır. do_center_crop (`bool`, *kwargs*, *opsiyonel*) : Görselin merkezden kırpılıp kırpılmayacağını belirtir. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *isteğe bağlı*) : Yalnızca `ChannelDimension.FIRST` desteklenir. Yavaş işleyicilerle uyumluluk için eklendi. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *isteğe bağlı*) : Girdi görüntüsünün kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir: - `"channels_first"` veya `ChannelDimension.FIRST`: (num_channels, height, width) biçiminde görüntü. - `"channels_last"` veya `ChannelDimension.LAST`: (height, width, num_channels) biçiminde görüntü. - `"none"` veya `ChannelDimension.NONE`: (height, width) biçiminde görüntü. device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'` olarak ayarlanırsa yığılmış tensörleri, aksi halde tensör listesi döndürür. disable_grouping (`bool`, *kwargs*, *opsiyonel*) : Görsellerin boyuta göre gruplandırılmasını devre dışı bırakarak bunların toplu olarak değil, tek tek işlenmesini sağlar. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, buradaki ayrıntılı açıklamalara dayalı ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *isteğe bağlı*) : Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak bu, gelecekteki modellerde bir işlemci özniteliği olarak ayarlanmalıdır. do_split_image (`bool`, *kwargs*, *opsiyonel*, varsayılan `self.do_split_image`) : Semantik segmentasyon için girdi görüntülerinin üst üste binen yamalar (patch) halinde bölünüp bölünmeyeceğini belirtir. `True` olarak ayarlanırsa, girdi görüntüleri yamalar arasında bir örtüşme olacak şekilde `size["shortest_edge"]` boyutunda yamalara bölünür. Aksi takdirde, girdi görüntüleri hedef boyuta dolgu (padding) uygulanarak ayarlanır. ignore_index (`int`, *kwargs*, *opsiyonel*, varsayılan `self.ignore_index`) : Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verilirse, segmentasyon haritasında 0 (arka plan) ile belirtilen pikseller `ignore_index` ile değiştirilir. EomtImageProcessor görüntü işleyicisi oluşturur. #### preprocess[[transformers.EomtImageProcessorPil.preprocess]] ```python preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: list[torch.Tensor] | None = None, instance_id_to_semantic_id: dict[int, int] | None = None, **kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_pil_eomt.py#L281) **Parametreler:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Ön işlenecek görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa `do_rescale=False` olarak ayarlayın. segmentation_maps (`ImageInput`, *isteğe bağlı*) : İlgili görüntüler için ön işleme yapılacak segmentasyon haritaları. instance_id_to_semantic_id (`list[dict[int, int]]` veya `dict[int, int]`, *isteğe bağlı*) : Nesne örnek kimlikleri ile sınıf kimlikleri arasındaki eşleme. do_convert_rgb (`bool`, *kwargs*, *isteğe bağlı*) : Görselin RGB'ye dönüştürülüp dönüştürülmeyeceği. do_resize (`bool`, *kwargs*, *isteğe bağlı*) : Görselin yeniden boyutlandırılıp boyutlandırılmayacağı. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Modelin kabul ettiği maksimum giriş boyutlarını açıklar. default_to_square (`bool`, *kwargs*, *opsiyonel*) : Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görsel kullanılıp kullanılmayacağı. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop` uygulandıktan sonra çıktı görüntüsünün boyutu. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, `PILImageResampling` enum değerlerinden biri olabilir. Yalnızca `do_resize` `True` olarak ayarlanırsa etkilidir. do_rescale (`bool`, *kwargs*, *opsiyonel*) : Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. rescale_factor (`float`, *kwargs*, *opsiyonel*) : `do_rescale` `True` olarak ayarlanırsa görüntüyü yeniden ölçeklemek için yeniden ölçekleme çarpanı. do_normalize (`bool`, *kwargs*, *isteğe bağlı*) : Görüntünün normalize edilip edilmeyeceğini belirtir. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opsiyonel*) : Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca `do_normalize` `True` olarak ayarlanırsa etkilidir. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opsiyonel*) : Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca `do_normalize` `True` olarak ayarlanırsa etkilidir. do_pad (`bool`, *kwargs*, *isteğe bağlı*) : Görselin dolgu (padding) uygulanıp uygulanmayacağını belirtir. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit bir kare boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Görsellerin doldurulacağı boyut, `{"height": int, "width" int}` biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. `pad_size` sağlanmazsa, görseller partideki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca `do_pad=True.` olduğunda uygulanır. do_center_crop (`bool`, *kwargs*, *opsiyonel*) : Görselin merkezden kırpılıp kırpılmayacağını belirtir. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *isteğe bağlı*) : Yalnızca `ChannelDimension.FIRST` desteklenir. Yavaş işleyicilerle uyumluluk için eklendi. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *isteğe bağlı*) : Girdi görüntüsünün kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir: - `"channels_first"` veya `ChannelDimension.FIRST`: (num_channels, height, width) biçiminde görüntü. - `"channels_last"` veya `ChannelDimension.LAST`: (height, width, num_channels) biçiminde görüntü. - `"none"` veya `ChannelDimension.NONE`: (height, width) biçiminde görüntü. device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'` olarak ayarlanırsa yığılmış tensörleri, aksi halde tensör listesi döndürür. disable_grouping (`bool`, *kwargs*, *opsiyonel*) : Görsellerin boyuta göre gruplandırılmasını devre dışı bırakarak bunların toplu olarak değil, tek tek işlenmesini sağlar. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, buradaki ayrıntılı açıklamalara dayalı ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *isteğe bağlı*) : Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak bu, gelecekteki modellerde bir işlemci özniteliği olarak ayarlanmalıdır. do_split_image (`bool`, *kwargs*, *opsiyonel*, varsayılan `self.do_split_image`) : Semantik segmentasyon için girdi görüntülerinin üst üste binen yamalar (patch) halinde bölünüp bölünmeyeceğini belirtir. `True` olarak ayarlanırsa, girdi görüntüleri yamalar arasında bir örtüşme olacak şekilde `size["shortest_edge"]` boyutunda yamalara bölünür. Aksi takdirde, girdi görüntüleri hedef boyuta dolgu (padding) uygulanarak ayarlanır. ignore_index (`int`, *kwargs*, *opsiyonel*, varsayılan `self.ignore_index`) : Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verilirse, segmentasyon haritasında 0 (arka plan) ile belirtilen pikseller `ignore_index` ile değiştirilir. **Dönüş:** `~image_processing_base.BatchFeature` - **data** (`dict`) -- __call__ yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü ('pixel_values' vb.). - **tensor_type** (`Union[None, str, TensorType]`, *isteğe bağlı*) -- Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz. #### post_process_semantic_segmentation[[transformers.EomtImageProcessorPil.post_process_semantic_segmentation]] ```python post_process_semantic_segmentation(outputs, target_sizes: list, size: dict[str, int] | None = None, return_segmentation_scores: bool = False) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_pil_eomt.py#L495) **Parametreler:** outputs ([EomtForUniversalSegmentation](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtForUniversalSegmentation)) : Modelin ham çıktıları. target_sizes (`list[tuple[int, int]]`) : Batch'teki her bir görüntünün hedef boyutunu (yükseklik, genişlik) içeren bir tuple (`tuple[int, int]`) listesi. size (`dict[str, int]`, *isteğe bağlı*) : Ara maskelerin ölçeklendirileceği boyut. Varsayılan olarak `self.size`'dir. return_segmentation_scores (`bool`, *isteğe bağlı*, varsayılan `False`) : Segmentasyon haritasının yanı sıra segmentasyon puanlarının da döndürülüp döndürülmeyeceğini belirtir. `True` olduğunda, döndürülen listenin her öğesi `segmentation` (sınıf kimlikleri, şekil `(height, width)`) ve `segmentation_scores` (şekil `(num_classes, height, width)`) alanlarına sahip bir `SemanticSegmentationPostProcessorOutput` nesnesidir. **Dönüş:** `list[torch.Tensor]` veya `list[SemanticSegmentationPostProcessorOutput]` `return_segmentation_scores=False` (varsayılan) olduğunda, her öğesi sınıf kimliklerine sahip, `(height, width)` biçiminde bir segmentasyon haritası olan, uzunluğu `batch_size` olan bir liste döndürülür. `return_segmentation_scores=True` olduğunda, `segmentation` (sınıf kimlikleri, `(height, width)` biçiminde) ve `segmentation_scores` (`(num_classes, height, width)` biçiminde) alanlarına sahip `SemanticSegmentationPostProcessorOutput` nesnelerinden oluşan bir liste döndürülür. Her iki durumda da `(height, width)`, hedef boyuta karşılık gelir. [EomtForUniversalSegmentation](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtForUniversalSegmentation) çıktısını anlamsal segmentasyon haritalarına dönüştürür. #### post_process_instance_segmentation[[transformers.EomtImageProcessorPil.post_process_instance_segmentation]] ```python post_process_instance_segmentation(outputs, target_sizes: list, threshold: float = 0.8, size: dict[str, int] | None = None) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_pil_eomt.py#L620) Model çıktılarını Instance Segmentation Predictions olarak işler. #### post_process_panoptic_segmentation[[transformers.EomtImageProcessorPil.post_process_panoptic_segmentation]] ```python post_process_panoptic_segmentation(outputs, target_sizes: list, threshold: float = 0.8, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, stuff_classes: list[int] | None = None, size: dict[str, int] | None = None) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/image_processing_pil_eomt.py#L567) Model çıktılarını nihai panoptik segmentasyon tahminine dönüştürür. ## EomtConfig[[transformers.EomtConfig]] #### transformers.EomtConfig[[transformers.EomtConfig]] ```python transformers.EomtConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 1024, num_hidden_layers: int = 24, num_attention_heads: int = 16, hidden_act: str = 'gelu', hidden_dropout_prob: float | int = 0.0, initializer_range: float = 0.02, layer_norm_eps: float = 1e-06, image_size: int | list[int] | tuple[int, int] = 640, patch_size: int | list[int] | tuple[int, int] = 16, num_channels: int = 3, mlp_ratio: int = 4, layerscale_value: float = 1.0, drop_path_rate: float | int = 0.0, num_upscale_blocks: int = 2, attention_dropout: float | int = 0.0, use_swiglu_ffn: bool = False, num_blocks: int = 4, no_object_weight: float = 0.1, class_weight: float = 2.0, mask_weight: float = 5.0, dice_weight: float = 5.0, train_num_points: int = 12544, oversample_ratio: float = 3.0, importance_sample_ratio: float = 0.75, num_queries: int = 200, num_register_tokens: int = 4) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/configuration_eomt.py#L28) **Parametreler:** hidden_size (`int`, *isteğe bağlı*, varsayılan `1024`) : Gizli temsillerin boyutu. num_hidden_layers (`int`, *isteğe bağlı*, varsayılan `24`) : Transformer decoder'ındaki gizli katman sayısı. num_attention_heads (`int`, *isteğe bağlı*, varsayılan `16`) : Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı. hidden_act (`str`, *isteğe bağlı*, varsayılan `gelu`) : Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, `"gelu"`, `"relu"`, `"silu"` vb. hidden_dropout_prob (`Union[float, int]`, *isteğe bağlı*, varsayılan `0.0`) : Gömme, kodlayıcı ve havuzlayıcıdaki tüm tam bağlı katmanlar için dropout olasılığı. initializer_range (`float`, *opsiyonel*, varsayılan `0.02`) : Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması. layer_norm_eps (`float`, *opsiyonel*, varsayılan `1e-06`) : Katman normalizasyonu katmanlarında kullanılan epsilon. image_size (`Union[int, list[int], tuple[int, int]]`, *isteğe bağlı*, varsayılan `640`) : Her bir görüntünün boyutu (çözünürlüğü). patch_size (`Union[int, list[int], tuple[int, int]]`, *isteğe bağlı*, varsayılan `16`) : Her yamanın boyutu (çözünürlüğü). num_channels (`int`, *opsiyonel*, varsayılan `3`) : Girdi kanal sayısı. mlp_ratio (`int`, *isteğe bağlı*, varsayılan `4`) : MLP gizli boyutunun gömme boyutuna oranı. layerscale_value (`float`, *isteğe bağlı*, varsayılan 1.0) : LayerScale parametresi için başlangıç değeri. drop_path_rate (`Union[float, int]`, *isteğe bağlı*, varsayılan `0.0`) : Yama birleştirme için drop path oranı. num_upscale_blocks (`int`, *isteğe bağlı*, varsayılan 2) : Dekoderde veya segmentasyon başlığında kullanılan yukarı örneklemeye bloklarının sayısı. attention_dropout (`Union[float, int]`, *isteğe bağlı*, varsayılan `0.0`) : Dikkat olasılıkları için dropout oranı. use_swiglu_ffn (`bool`, *isteğe bağlı*, varsayılan `False`) : SwiGLU ileri beslemeli sinir ağı kullanılıp kullanılmayacağı. num_blocks (`int`, *isteğe bağlı*, varsayılan 4) : Mimarideki özellik bloğu veya aşama sayısı. no_object_weight (`float`, *opsiyonel*, varsayılan 0.1) : Panoptik/nesne segmentasyonunda 'nesne yok' sınıfı için kayıp ağırlığı. class_weight (`float`, *isteğe bağlı*, varsayılan 2.0) : Sınıflandırma hedefleri için kayıp ağırlığı. mask_weight (`float`, *isteğe bağlı*, varsayılan 5.0) : Maske tahmini için kayıp ağırlığı. dice_weight (`float`, *isteğe bağlı*, varsayılan `5.0`) : Panoptik segmentasyon kaybında dice kaybının göreli ağırlığı. train_num_points (`int`, *opsiyonel*, varsayılan 12544) : Eğitim sırasında maske kaybı hesabı için örneklenmesi gereken nokta sayısı. oversample_ratio (`float`, *isteğe bağlı*, varsayılan 3.0) : Maske eğitimi için nokta örneklemesinde kullanılan aşırı örneklem oranı. importance_sample_ratio (`float`, *opsiyonel*, varsayılan 0.75) : Eğitim sırasında önem bazlı örneklenen noktaların oranı. num_queries (`int`, *isteğe bağlı*, varsayılan 200) : Transformer'daki nesne sorgularının sayısı. num_register_tokens (`int`, *isteğe bağlı*, varsayılan 4) : Transformer girdisine eklenen öğrenilebilir kayıt (register) token sayısı. Bu, bir EomtModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Eomt modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılanlarla bir yapılandırma örneği oluşturmak, [tue-mps/coco_panoptic_eomt_large_640](https://huggingface.co/tue-mps/coco_panoptic_eomt_large_640) modelinin yapılandırmasına benzer bir yapılandırma elde etmenizi sağlar. Yapılandırma nesneleri [PreTrainedConfig](/docs/transformers/main/tr/main_classes/configuration#transformers.PreTrainedConfig) sınıfından türetilir ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için [PreTrainedConfig](/docs/transformers/main/tr/main_classes/configuration#transformers.PreTrainedConfig) belgesini okuyun. Örnek: ```python >>> from transformers import EomtConfig, EomtForUniversalSegmentation >>> # Initialize configuration >>> config = EomtConfig() >>> # Initialize model >>> model = EomtForUniversalSegmentation(config) >>> # Access config >>> config = model.config ``` ## EomtForUniversalSegmentation[[transformers.EomtForUniversalSegmentation]] #### transformers.EomtForUniversalSegmentation[[transformers.EomtForUniversalSegmentation]] ```python transformers.EomtForUniversalSegmentation(config: EomtConfig) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/modeling_eomt.py#L1016) **Parametreler:** config ([EomtConfig](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine göz atın. Örnek/semantik/panoptik segmentasyon için üstte başa sahip EoMT Modeli. Bu model [PreTrainedModel](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın. Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun. #### forward[[transformers.EomtForUniversalSegmentation.forward]] ```python forward(pixel_values: Tensor, mask_labels: list[torch.Tensor] | None = None, class_labels: list[torch.Tensor] | None = None, patch_offsets: list[torch.Tensor] | None = None, **kwargs: *) ``` [Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/eomt/modeling_eomt.py#L1074) **Parametreler:** pixel_values (`torch.Tensor`, şekli `(batch_size, num_channels, image_size, image_size)`) : Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri [EomtImageProcessor](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtImageProcessor) kullanılarak elde edilebilir. Ayrıntılar için [EomtImageProcessor.__call__()](/docs/transformers/main/tr/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) bölümüne bakın (`processor_class`, görüntü işleme için [EomtImageProcessor](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtImageProcessor) kullanır). mask_labels (`list[torch.Tensor]`, *isteğe bağlı*) : modele verilecek, `(num_labels, height, width)` biçiminde maske etiketleri listesi class_labels (`list[torch.LongTensor]`, *isteğe bağlı*) : modele verilecek, `(num_labels, height, width)` biçiminde hedef sınıf etiketleri listesi. Bunlar `mask_labels` etiketlerini belirler; örneğin `class_labels[i][j]` ise `mask_labels[i][j]` etiketi. patch_offsets (`list[torch.Tensor]`, *isteğe bağlı*) : semantik segmentasyon için yama başlangıç ve bitiş konumlarını ile görüntü indeksini gösteren demetlerin listesi. **Dönüş:** `EomtForUniversalSegmentationOutput` veya `tuple(torch.Tensor)` A `EomtForUniversalSegmentationOutput` veya bir `torch.Tensor` demeti (eğer `return_dict=False` geçirildiyse veya `config.return_dict=False` ise), yapılandırmaya ([EomtConfig](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtConfig)) ve girdilere bağlı olarak çeşitli öğelerden oluşur. [EomtForUniversalSegmentation](/docs/transformers/main/tr/model_doc/eomt#transformers.EomtForUniversalSegmentation) forward metodu, `__call__` özel metodunu geçersiz kılar. İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar. - **loss** (`torch.Tensor`, *isteğe bağlı*) -- Etiketler mevcut olduğunda döndürülen hesaplanan kayıp. - **class_queries_logits** (`torch.Tensor`, *isteğe bağlı*) -- Her sorgu için önerilen sınıfları temsil eden, `(batch_size, num_queries, num_labels + 1)` biçiminde bir tensör. `+ 1`'in, null sınıfını dahil ettiğimiz için gerekli olduğunu unutmayın. - **masks_queries_logits** (`torch.Tensor`, *isteğe bağlı*) -- Her sorgu için önerilen maskeleri temsil eden, `(batch_size, num_queries, height, width)` biçiminde bir tensör. - **last_hidden_state** (`torch.Tensor`, şekli `(batch_size, num_channels, height, width)`) -- Son katmanın son gizli durumları (son özellik haritası). - **hidden_states** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_hidden_states=True` geçirildiğinde veya `config.output_hidden_states=True` olduğunda döndürülür) -- `torch.Tensor` (gömme çıktısı için bir tane + her aşamanın çıktısı için bir tane) içeren, `(batch_size, sequence_length, hidden_size)` biçiminde bir demet. Modelin tüm katmanlarının gizli durumları. - **attentions** (`tuple(tuple(torch.Tensor))`, *opsiyonel*, `output_attentions=True` geçirildiğinde veya `config.output_attentions=True` olduğunda döndürülür) -- `tuple(torch.Tensor)` (her katman için bir tane) içeren bir tuple, şekli `(batch_size, num_heads, sequence_length, sequence_length)`. Transformer decoder'dan Self ve Cross Attentions ağırlıkları. - **patch_offsets** (`list[torch.Tensor]`, *isteğe bağlı*) -- semantik segmentasyon için yamaların görüntü indeksini ve başlangıç ile bitiş konumlarını gösteren demetlerin listesi.