Transformers documentation

OWLv2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2023-06-16에 HF papers에 게시되었으며, 2023-10-13에 Hugging Face Transformers에 기여되었습니다.

OWLv2

개요

OWLv2는 Matthias Minderer, Alexey Gritsenko, Neil Houlsby가 Scaling Open-Vocabulary Object Detection에서 제안했습니다. OWLv2는 기존 탐지기를 사용하여 이미지-텍스트 쌍에 의사 박스(pseudo-box) 주석을 생성하는 자기 학습(self-training)을 활용하여 OWL-ViT을 확장합니다. 이를 통해 제로샷 객체 탐지에서 이전 최첨단(state-of-the-art) 대비 큰 성능 향상을 달성합니다.

해당 논문의 초록은 다음과 같습니다:

오픈 보카불리 오브젝트 데텍션(Open-vocabulary object detection)은 사전 학습된 비전-언어 모델로부터 큰 이점을 얻었지만, 여전히 사용 가능한 데텍션 학습 데이터의 양에 의해 제한되고 있습니다. 웹 이미지-텍스트 쌍을 약한 지도(weak supervision)로 활용하면 데텍션 학습 데이터를 확장할 수 있지만, 이미지 수준 사전 학습과 비교할 만한 규모로는 이루어지지 않았습니다. 여기서는 기존 데텍터(detector)를 사용하여 이미지-텍스트 쌍에 의사 박스(pseudo-box) 주석을 생성하는 셀프 트레이닝(self-training)을 통해 데텍션 데이터를 확장합니다. 셀프 트레이닝을 확장하는 데 있어 주요 과제는 레이블 공간의 선택, 의사 주석 필터링, 그리고 학습 효율성입니다. 이러한 과제들을 해결하는 OWLv2 모델과 OWL-ST 셀프 트레이닝 레시피를 제시합니다. OWLv2는 이미 유사한 학습 규모(~10M 예시)에서 이전 최첨단 오픈 보카불리 데텍터의 성능을 뛰어넘습니다. 그러나 OWL-ST를 사용하면 10억 개 이상의 예시로 확장할 수 있으며, 이를 통해 추가적인 큰 성능 향상을 얻을 수 있습니다. L/14 아키텍처를 갖춘 OWL-ST는 모델이 인간에 의한 박스 주석을 전혀 보지 못한 LVIS 희귀 클래스의 AP를 31.2%에서 44.6%로 향상시켰습니다(상대적 43% 향상). OWL-ST는 이미지 분류와 언어 모델링에서 확인된 것과 유사하게, 오픈 월드 로컬라이제이션(Open-world localization)에 대한 웹 규모 학습을 가능하게 합니다.

OWLv2 high-level overview. Taken from the original paper.

이 모델은 nielsr님이 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 예시

OWLv2는 전작인 OWL-ViT와 마찬가지로 zero-shot 텍스트 조건 객체 탐지 모델입니다. OWL-ViT는 CLIP을 멀티모달 백본으로 사용하며, ViT 유사 Transformer로 시각적 특징을, 인과 언어 모델로 텍스트 특징을 추출합니다. CLIP을 탐지에 활용하기 위해 OWL-ViT는 비전 모델의 최종 토큰 풀링 레이어를 제거하고, 각 Transformer 출력 토큰에 경량 분류 및 박스 헤드를 연결합니다. 텍스트 모델에서 얻은 클래스 이름 임베딩으로 고정된 분류 레이어 가중치를 대체함으로써 오픈 보카불리 분류가 가능해집니다. 저자들은 먼저 CLIP을 처음부터 학습한 후, 표준 탐지 데이터셋에서 이분 매칭 손실을 사용하여 분류 및 박스 헤드를 포함해 end-to-end로 fine-tune합니다. 이미지당 하나 이상의 텍스트 쿼리를 사용하여 zero-shot 텍스트 조건 객체 탐지를 수행할 수 있습니다.

Owlv2ImageProcessor는 모델에 사용할 이미지를 리사이즈(또는 리스케일)하고 정규화하는 데 사용되며, CLIPTokenizer는 텍스트를 인코딩하는 데 사용됩니다. Owlv2Processor는 Owlv2ImageProcessor와 CLIPTokenizer를 단일 인스턴스로 묶어 텍스트 인코딩과 이미지 전처리를 함께 수행합니다. 다음 예제는 Owlv2Processor와 Owlv2ForObjectDetection를 사용하여 객체 감지를 수행하는 방법을 보여줍니다.

import requests
from PIL import Image
import torch

from transformers import Owlv2Processor, Owlv2ForObjectDetection

processor = Owlv2Processor.from_pretrained("google/owlv2-base-patch16-ensemble")
model = Owlv2ForObjectDetection.from_pretrained("google/owlv2-base-patch16-ensemble", device_map="auto")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
text_labels = [["a photo of a cat", "a photo of a dog"]]
inputs = processor(text=text_labels, images=image, return_tensors="pt").to(model.device)
outputs = model(**inputs)

# Target image sizes (height, width) to rescale box predictions [batch_size, 2]
target_sizes = torch.tensor([(image.height, image.width)])
# Convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
results = processor.post_process_grounded_object_detection(
    outputs=outputs, target_sizes=target_sizes, threshold=0.1, text_labels=text_labels
)
# Retrieve predictions for the first image for the corresponding text queries
result = results[0]
boxes, scores, text_labels = result["boxes"], result["scores"], result["text_labels"]
for box, score, text_label in zip(boxes, scores, text_labels):
    box = [round(i, 2) for i in box.tolist()]
    print(f"Detected {text_label} with confidence {round(score.item(), 3)} at location {box}")
Detected a photo of a cat with confidence 0.614 at location [341.67, 23.39, 642.32, 371.35]
Detected a photo of a cat with confidence 0.665 at location [6.75, 51.96, 326.62, 473.13]

리소스

OWLv2를 사용하여 zero-shot 및 one-shot(이미지 기반) 객체 감지를 수행하는 데모 노트북은 여기에서 확인할 수 있습니다.
제로샷 객체 감지 작업 가이드

OWLv2의 아키텍처는 OWL-ViT와 동일하지만, 객체 감지 헤드에 객체성(objectness) 분류기가 추가되었습니다. 이 분류기는 예측된 박스가 배경이 아닌 객체를 포함할 확률(쿼리와 무관)을 예측합니다. 객체성 점수는 텍스트 쿼리에 독립적으로 예측 결과를 순위 매기거나 필터링하는 데 사용할 수 있습니다. OWLv2의 사용법은 OWL-ViT와 동일하며, 새로 업데이트된 이미지 프로세서(Owlv2ImageProcessor)를 사용합니다.

Transformers

OWLv2

개요

사용 예시

리소스

Owlv2Config

클래스 transformers.Owlv2Config

Owlv2TextConfig

class transformers.Owlv2TextConfig

Owlv2VisionConfig

클래스 transformers.Owlv2VisionConfig

Owlv2ImageProcessor

class transformers.Owlv2ImageProcessor

preprocess

post_process_object_detection

post_process_image_guided_detection

Owlv2ImageProcessorPil

class transformers.Owlv2ImageProcessorPil

preprocess

post_process_object_detection

post_process_image_guided_detection

Owlv2Processor

클래스 transformers.Owlv2Processor

__call__

post_process_grounded_object_detection

post_process_image_guided_detection

Owlv2Model

클래스 transformers.Owlv2Model

forward

get_text_features

get_image_features

Owlv2TextModel

클래스 transformers.Owlv2TextModel

forward

Owlv2VisionModel

class transformers.Owlv2VisionModel

forward

Owlv2ForObjectDetection

class transformers.Owlv2ForObjectDetection

forward

이미지 기반 감지

call