Kartu Dataset

Apa itu Dataset Cards?

Setiap dataset dapat didokumentasikan melalui file README.md di repositori. File ini disebut dataset card, dan Hugging Face Hub akan menampilkan isinya di halaman utama dataset. Untuk memberi tahu pengguna tentang cara menggunakan data secara bertanggung jawab, sebaiknya sertakan informasi mengenai potensi bias yang ada dalam dataset. Secara umum, dataset card membantu pengguna memahami isi dataset dan memberikan konteks tentang bagaimana dataset tersebut seharusnya digunakan.

Anda juga dapat menambahkan metadata dataset ke kartu Anda. Metadata ini menjelaskan informasi penting tentang dataset, seperti lisensinya, bahasanya, dan ukurannya. Metadata juga berisi tag untuk membantu pengguna menemukan dataset di Hub, serta opsi konfigurasi file data. Tag didefinisikan dalam bagian metadata YAML di bagian atas file README.md.

Metadata kartu dataset

Repo dataset akan merender README.md sebagai kartu dataset. Untuk mengontrol cara Hub menampilkan kartu tersebut, Anda harus membuat bagian YAML di file README untuk mendefinisikan beberapa metadata. Mulai dengan menambahkan tiga --- di bagian atas, lalu sertakan semua metadata yang relevan, dan tutup bagian tersebut dengan kelompok --- lainnya seperti contoh di bawah ini:

language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2

Metadata yang Anda tambahkan ke kartu dataset memungkinkan interaksi tertentu di Hub. Misalnya:

• Izinkan pengguna untuk memfilter dan menemukan dataset di https://huggingface.co/datasets.
• Jika Anda memilih lisensi menggunakan kata kunci yang tercantum di kolom kanan tabel ini, lisensi tersebut akan ditampilkan di halaman dataset.

Saat membuat file README.md di repositori dataset di Hub, gunakan Metadata UI untuk mengisi metadata utama:

Untuk melihat bidang metadata, lihat spesifikasi Dataset Card yang terperinci.

Panduan pembuatan kartu dataset

Untuk panduan langkah demi langkah dalam membuat kartu dataset, lihat panduan Membuat kartu dataset.

Membaca kartu dataset yang sudah ada, seperti kartu dataset ELI5, adalah cara yang bagus untuk membiasakan diri dengan konvensi umum.

Menggabungkan Kertas

Jika kartu dataset menyertakan tautan ke halaman Paper (baik di HF maupun abstrak/PDF Arxiv), Hub akan mengekstrak ID arXiv dan menyertakannya dalam tag dataset dengan format arxiv:<PAPER ID>. Mengklik tag tersebut akan memungkinkan Anda:

• Kunjungi halaman Paper
• Filter untuk model lain di Hub yang mengutip paper yang sama.

Baca lebih lanjut tentang halaman paper di sini.

Paksa set modalitas dataset

Hub akan secara otomatis mendeteksi modalitas dataset berdasarkan file yang dikandungnya (audio, video, geospasial, dll.). Jika Anda ingin memaksa modalitas tertentu, Anda dapat menambahkan tag ke metadata kartu dataset: 3d, audio, geospatial, image, tabular, text, timeseries, video.

Sebagai contoh, untuk memaksa modalitas menjadi audio, tambahkan berikut ke metadata kartu dataset:

tags:
- audio

Kaitkan pustaka ke dataset

Halaman dataset secara otomatis menampilkan pustaka dan alat yang mampu memuat dataset secara native, tetapi jika Anda ingin menampilkan pustaka tertentu lainnya, Anda dapat menambahkan tag ke metadata kartu dataset. Tag yang didukung meliputi agentenv, argilla, dask, datasets, distilabel, fiftyone, harbor, mlcroissant, nemo-gym, openenv, pandas, verifiers, dan webdataset. Lihat daftar pustaka yang didukung untuk daftar lengkap, atau untuk mengusulkan pustaka baru.

Sebagai contoh, untuk mengaitkan pustaka argilla dengan kartu dataset, tambahkan berikut ke metadata kartu dataset:

tags:
- argilla

Deklarasikan dataset lingkungan RL

Lingkungan RL adalah repositori dataset biasa yang file-nya dapat dikonsumsi oleh satu atau lebih framework lingkungan. Tambahkan tag rl-environment agar dataset dapat ditemukan dengan filter Lingkungan RL, lalu tambahkan tag untuk setiap framework yang didukung. Tag framework juga menambahkan perintah yang dihasilkan ke Gunakan dataset ini.

Sebagai contoh, dataset yang berisi direktori tugas Harbor yang juga dapat dimuat oleh Verifiers menggunakan Dataset Card YAML ini:

---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---

Tag kerangka lingkungan yang didukung adalah:

Tag ini menjelaskan kompatibilitas dan menghasilkan perintah pemuatan. Tag ini tidak membuat jenis repositori baru atau menyebabkan Hub untuk menjalankan lingkungan.