Transformers documentation
Penyebutan gambar
Penyebutan gambar
Image captioning adalah tugas untuk memprediksi caption untuk sebuah gambar yang diberikan. Aplikasi dunia nyata yang umum meliputi membantu orang tunanetra agar dapat menavigasi berbagai situasi. Oleh karena itu, image captioning membantu meningkatkan aksesibilitas konten bagi orang-orang dengan cara mendeskripsikan gambar kepada mereka.
Panduan ini akan menunjukkan cara Anda untuk:
- Lakukan fine-tuning pada model captioning gambar.
- Gunakan model yang telah dihaluskan untuk inferensi.
Sebelum memulai, pastikan Anda telah menginstal semua pustaka yang diperlukan:
pip install transformers datasets evaluate -q pip install jiwer -q
Kami menyarankan Anda untuk masuk ke akun Hugging Face Anda agar dapat mengunggah dan membagikan model Anda dengan komunitas. Saat diminta, masukkan token Anda untuk masuk:
from huggingface_hub import notebook_login
notebook_login()Muat dataset caption Pokémon BLIP
Gunakan pustaka 🤗 Dataset untuk memuat dataset yang terdiri dari pasangan {image-caption}. Untuk membuat dataset captioning gambar Anda sendiri di PyTorch, Anda dapat mengikuti notebook ini.
from datasets import load_dataset
ds = load_dataset("lambdalabs/pokemon-blip-captions")
dsDatasetDict({
train: Dataset({
features: ['image', 'text'],
num_rows: 833
})
})Dataset memiliki dua fitur, image dan text.
Banyak dataset captioning gambar berisi beberapa caption untuk setiap gambar. Dalam kasus tersebut, strategi yang umum digunakan adalah mengambil sampel secara acak dari caption yang tersedia selama pelatihan.
Bagi split train dari dataset menjadi set train dan test dengan metode train_test_split:
ds = ds["train"].train_test_split(test_size=0.1)
train_ds = ds["train"]
test_ds = ds["test"]Mari kita visualisasi beberapa sampel dari set pelatihan.
from textwrap import wrap
import matplotlib.pyplot as plt
import numpy as np
def plot_images(images, captions):
plt.figure(figsize=(20, 20))
for i in range(len(images)):
ax = plt.subplot(1, len(images), i + 1)
caption = captions[i]
caption = "\n".join(wrap(caption, 12))
plt.title(caption)
plt.imshow(images[i])
plt.axis("off")
sample_images_to_visualize = [np.array(train_ds[i]["image"]) for i in range(5)]
sample_captions = [train_ds[i]["text"] for i in range(5)]
plot_images(sample_images_to_visualize, sample_captions)
Praproses dataset
Karena dataset memiliki dua modalitas (gambar dan teks), pipeline pra-pemrosesan akan memproses gambar dan caption.
Untuk melakukannya, muat kelas processor yang terkait dengan model yang akan Anda fine-tune.
from transformers import AutoProcessor
checkpoint = "microsoft/git-base"
processor = AutoProcessor.from_pretrained(checkpoint)Processor akan memproses praproses gambar secara internal (termasuk pengubahan ukuran dan penskalaan piksel) serta melakukan tokenisasi pada caption.
def transforms(example_batch):
images = [x for x in example_batch["image"]]
captions = [x for x in example_batch["text"]]
inputs = processor(images=images, text=captions, padding="max_length")
inputs.update({"labels": inputs["input_ids"]})
return inputs
train_ds.set_transform(transforms)
test_ds.set_transform(transforms)Dengan dataset yang sudah siap, Anda sekarang dapat menyiapkan model untuk fine-tuning.
Muat model dasar
Muat “microsoft/git-base” ke dalam objek AutoModelForCausalLM.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(checkpoint)Evaluasi
Model captioning gambar biasanya dievaluasi menggunakan Rouge Score atau Word Error Rate. Untuk panduan ini, Anda akan menggunakan Word Error Rate (WER).
Kami menggunakan pustaka 🤗 Evaluate untuk melakukannya. Untuk potensi keterbatasan dan hal-hal lain yang perlu diperhatikan terkait WER, silakan merujuk ke panduan ini.
from evaluate import load
import torch
wer = load("wer")
def compute_metrics(eval_pred):
logits, labels = eval_pred
predicted = logits.argmax(-1)
decoded_labels = processor.batch_decode(labels, skip_special_tokens=True)
decoded_predictions = processor.batch_decode(predicted, skip_special_tokens=True)
wer_score = wer.compute(predictions=decoded_predictions, references=decoded_labels)
return {"wer_score": wer_score}Latih
Sekarang, Anda siap untuk mulai melakukan fine-tuning pada model. Anda akan menggunakan 🤗 Trainer untuk ini.
Pertama, definisikan argumen pelatihan menggunakan TrainingArguments.
from transformers import TrainingArguments, Trainer
model_name = checkpoint.split("/")[1]
training_args = TrainingArguments(
output_dir=f"{model_name}-pokemon",
learning_rate=5e-5,
num_train_epochs=50,
fp16=True,
per_device_train_batch_size=32,
per_device_eval_batch_size=32,
gradient_accumulation_steps=2,
save_total_limit=3,
eval_strategy="steps",
eval_steps=50,
save_strategy="steps",
save_steps=50,
logging_steps=50,
remove_unused_columns=False,
push_to_hub=True,
label_names=["labels"],
load_best_model_at_end=True,
)Lalu, teruskan bersama dataset dan model ke 🤗 Trainer.
trainer = Trainer(
model=model,
args=training_args,
train_dataset=train_ds,
eval_dataset=test_ds,
compute_metrics=compute_metrics,
)Untuk memulai pelatihan, cukup panggil train() pada objek Trainer.
trainer.train()
Anda seharusnya melihat penurunan loss pelatihan secara mulus seiring berjalannya pelatihan.
Setelah pelatihan selesai, bagikan model Anda ke Hub dengan metode push_to_hub() agar semua orang dapat menggunakan model Anda:
trainer.push_to_hub()
Inferensi
Ambil gambar sampel dari test_ds untuk menguji model.
from PIL import Image
import requests
url = "https://huggingface.co/datasets/sayakpaul/sample-datasets/resolve/main/pokemon.png"
image = Image.open(requests.get(url, stream=True).raw)
image
Siapkan gambar untuk model.
from accelerate import Accelerator
device = Accelerator().device
inputs = processor(images=image, return_tensors="pt").to(device)
pixel_values = inputs.pixel_valuesPanggil generate dan decode prediksi.
generated_ids = model.generate(pixel_values=pixel_values, max_length=50)
generated_caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(generated_caption)a drawing of a pink and blue pokemon
Sepertinya model yang telah dihaluskan menghasilkan caption yang cukup bagus!
Update on GitHub