Model ini dipublikasikan di HF papers pada 2024-06-13 dan disumbangkan ke Hugging Face Transformers pada 2024-07-05.

Depth Anything V2

Ikhtisar

Depth Anything V2 diperkenalkan dalam makalah dengan nama yang sama oleh Lihe Yang dkk. Model ini menggunakan arsitektur yang sama dengan model Depth Anything asli, tetapi memanfaatkan data sintetis dan model guru dengan kapasitas yang lebih besar untuk mencapai prediksi kedalaman yang jauh lebih halus dan robust.

Abstrak dari makalah tersebut adalah sebagai berikut:

Karya ini memperkenalkan Depth Anything V2. Tanpa mengejar teknik yang rumit, kami bertujuan untuk mengungkapkan temuan-temuan penting guna membuka jalan menuju pembangunan model estimasi kedalaman monokular yang kuat. Secara khusus, dibandingkan dengan V1, versi ini menghasilkan prediksi kedalaman yang jauh lebih halus dan lebih robust melalui tiga praktik utama: 1) mengganti semua gambar nyata berlabel dengan gambar sintetis, 2) memperbesar kapasitas model guru kami, dan 3) melatih model siswa melalui jembatan gambar nyata berlabel pseudo berskala besar. Dibandingkan dengan model-model terbaru yang dibangun di atas Stable Diffusion, model kami jauh lebih efisien (lebih dari 10x lebih cepat) dan lebih akurat. Kami menyediakan model dengan skala yang berbeda (berkisar dari 25M hingga 1,3B parameter) untuk mendukung berbagai skenario. Berkat kemampuan generalisasi yang kuat, kami melakukan fine-tuning dengan label kedalaman metrik untuk mendapatkan model kedalaman metrik kami. Selain model kami, mengingat keterbatasan keragaman dan frekuensi noise dalam set pengujian saat ini, kami membangun benchmark evaluasi yang serbaguna dengan anotasi yang presisi dan adegan yang beragam untuk memfasilitasi penelitian di masa depan.

Model Depth Anything disumbangkan oleh nielsr. Kode aslinya dapat ditemukan di sini.

Contoh penggunaan

Ada 2 cara utama untuk menggunakan Depth Anything V2: yaitu dengan menggunakan API pipeline, yang menyederhanakan semua kompleksitas untuk Anda, atau dengan menggunakan kelas DepthAnythingForDepthEstimation secara langsung.

API Pipeline

Pipeline memungkinkan penggunaan model dalam beberapa baris kode:

import requests
from PIL import Image

from transformers import pipeline


# load pipe
pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
depth = pipe(image)["depth"]

Menggunakan model Anda sendiri

Jika Anda ingin melakukan pra-pemrosesan dan pasca-pemrosesan sendiri, berikut cara melakukannya:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForDepthEstimation


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf")
model = AutoModelForDepthEstimation.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf", device_map="auto")

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)

# interpolate to original size and visualize the prediction
post_processed_output = image_processor.post_process_depth_estimation(
    outputs,
    target_sizes=[(image.height, image.width)],
)

predicted_depth = post_processed_output[0]["predicted_depth"]
depth = (predicted_depth - predicted_depth.min()) / (predicted_depth.max() - predicted_depth.min())
depth = depth.detach().cpu().numpy() * 255
depth = Image.fromarray(depth.astype("uint8"))

Sumber daya

Daftar sumber resmi Hugging Face dan komunitas (ditandai dengan 🌎) untuk membantu Anda memulai dengan Depth Anything.

• Panduan tugas estimasi kedalaman monokular
• Demo Depth Anything V2.
• Notebook yang menampilkan inferensi dengan DepthAnythingForDepthEstimation dapat ditemukan di sini. 🌎
• Konversi Core ML dari varian small untuk digunakan pada Apple Silicon.

Jika Anda tertarik untuk mengirimkan sumber daya agar disertakan di sini, silakan buka Pull Request dan kami akan meninjaunya! Sumber daya tersebut sebaiknya mendemonstrasikan sesuatu yang baru, bukan menduplikasi sumber daya yang sudah ada.

DepthAnythingConfig

>>> from transformers import DepthAnythingConfig, DepthAnythingForDepthEstimation

>>> # Initializing a DepthAnything small style configuration
>>> configuration = DepthAnythingConfig()

>>> # Initializing a model from the DepthAnything small style configuration
>>> model = DepthAnythingForDepthEstimation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DepthAnythingForDepthEstimation

>>> from transformers import AutoImageProcessor, AutoModelForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("LiheYoung/depth-anything-small-hf")
>>> model = AutoModelForDepthEstimation.from_pretrained("LiheYoung/depth-anything-small-hf")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))