Transformers documentation
Generasi Multimodal
Generasi Multimodal
Model multimodal (any-to-any) adalah model bahasa yang mampu memproses berbagai jenis data masukan (misalnya, teks, gambar, audio, atau video) dan menghasilkan keluaran dalam salah satu modalitas tersebut. Berbeda dengan model unimodal atau model dengan modalitas tetap, model ini memungkinkan kombinasi fleksibel antara masukan dan keluaran, sehingga satu sistem dapat menangani berbagai tugas: mulai dari generasi teks-ke-gambar hingga transkripsi audio-ke-teks, pemberian keterangan gambar, pemahaman video, dan sebagainya. Tugas ini memiliki banyak kesamaan dengan image-text-to-text, tetapi mendukung cakupan modalitas masukan dan keluaran yang lebih luas.
Dalam panduan ini, kami memberikan gambaran singkat tentang model any-to-any dan menunjukkan cara menggunakannya dengan Transformers untuk inferensi. Berbeda dengan Vision LLM yang biasanya terbatas pada tugas visi dan bahasa, model omni-modal dapat menerima kombinasi modalitas apa pun (misalnya, teks, gambar, audio, video) sebagai input, dan menghasilkan output dalam modalitas yang berbeda, seperti teks atau gambar.
Mari kita mulai dengan menginstal dependensi:
pip install -q transformers accelerate flash_attn
Mari kita inisialisasi model dan prosesor.
from transformers import AutoProcessor, AutoModelForMultimodalLM, infer_device
import torch
device = torch.device(infer_device())
model = AutoModelForMultimodalLM.from_pretrained(
"Qwen/Qwen2.5-Omni-3B",
dtype=torch.bfloat16,
attn_implementation="flash_attention_2",
).to(device)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-3B")Model-model ini biasanya menyertakan chat template untuk menstruktur percakapan lintas modalitas. Input dapat mencampurkan gambar, teks, audio, atau format lain yang didukung dalam satu giliran. Output juga dapat bervariasi (misalnya, generasi teks atau generasi audio), tergantung pada konfigurasinya.
Di bawah ini adalah contoh yang memberikan input “teks + audio” dan meminta respons berupa teks.
messages = [
{
"role": "user",
"content": [
{"type": "audio", "url": "https://huggingface.co/datasets/raushan-testing-hf/audio-test/resolve/main/f2641_0_throatclearing.wav"},
{"type": "text", "text": "What do you hear in this audio?"},
]
},
]Sekarang kita akan memanggil metode apply_chat_template() dari processor untuk memproses pra-olaha outputnya bersama dengan input gambar.
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
)Sekarang kita dapat meneruskan input yang telah dipreprocess ke model.
with torch.no_grad():
generated_ids = model.generate(**inputs, max_new_tokens=100)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_texts)Pipeline
Cara tercepat untuk memulai adalah dengan menggunakan API Pipeline. Tentukan tugas "any-to-any" dan model yang ingin Anda gunakan.
from transformers import pipeline
pipe = pipeline("any-to-any", model="mistralai/Voxtral-Mini-3B-2507")Contoh di bawah ini menggunakan chat templates untuk memformat input teks dan menggunakan modalitas audio sebagai data multimodal.
messages = [
{
"role": "user",
"content": [
{
"type": "audio",
"url": "https://huggingface.co/datasets/raushan-testing-hf/audio-test/resolve/main/glass-breaking-151256.mp3",
},
{"type": "text", "text": "What do you hear in this audio?"},
],
},
]Lewatkan teks dan gambar yang sudah diformat dengan chat template ke Pipeline dan atur return_full_text=False untuk menghapus input dari output yang dihasilkan.
outputs = pipe(text=messages, max_new_tokens=20, return_full_text=False)
outputs[0]["generated_text"]Pipeline any-to-any juga mendukung pembuatan audio atau gambar dengan model any-to-any. Untuk itu, Anda perlu mengatur parameter generation_mode. Jangan lupa mengatur sampling video ke FPS yang diinginkan, jika tidak, seluruh video akan dimuat tanpa sampling. Berikut adalah contoh kodenya:
import soundfile as sf
pipe = pipeline("any-to-any", model="Qwen/Qwen2.5-Omni-3B")
messages = [
{
"role": "user",
"content": [
{"type": "video", "path": "https://huggingface.co/datasets/raushan-testing-hf/videos-test/resolve/main/Cooking_cake.mp4"},
{"type": "text", "text": "Describe this video."},
],
},
]
output = pipe(text=messages, fps=1, load_audio_from_video=True, max_new_tokens=20, generation_mode="audio")
sf.write("generated_audio.wav", out[0]["generated_audio"])