Gömme Atlası

Embedding Atlas, büyük gömme uzaylarını keşfetmek için kullanılan etkileşimli bir görselleştirme aracıdır. Gömme verilerini ilişkili meta verilerle birlikte görselleştirmenize, çapraz filtrelemenize ve aramanıza olanak tanır; bu sayede yüksek boyutlu verilerdeki örüntüleri ve ilişkileri anlamanıza yardımcı olur. Tüm hesaplama işlemleri bilgisayarınızda gerçekleşir; bu da verilerinizin gizli ve güvenli kalmasını sağlar.

Statik Space olarak barındırılan MegaScience veri seti için bir örnek atlas aşağıdadır:

Öne Çıkan Özellikler

• Etkileşimli keşif: Milyonlarca gömme arasında akıcı ve tepkisel görselleştirme ile gezinin
• Tarayıcı tabanlı hesaplama: Verileri dış sunuculara göndermeden gömme ve projeksiyonları yerel olarak hesaplayın
• Çapraz filtreleme: Birden çok meta veri sütunu arasında verileri bağlayın ve filtreleyin
• Arama yetenekleri: Verilen bir sorguya veya mevcut bir öğeye benzer veri noktalarını bulun
• Birçok entegrasyon seçeneği: Komut satırı, Jupyter widget'ları veya web arayüzü üzerinden kullanın

Ön koşullar

Öncelikle Embedding Atlas'ı yükleyin:

pip install embedding-atlas

Hugging Face Hub'dan özel veri setleri yüklemeyi planlıyorsanız, ayrıca Hugging Face hesabınızla oturum açmanız gerekir:

hf auth login

Hub'dan Veri Setleri Yükleme

Embedding Atlas, Hugging Face Hub ile sorunsuz bir entegrasyon sağlar ve herhangi bir veri setinden gelen gömme (embedding) verilerini doğrudan görselleştirmenize olanak tanır.

Komut Satırını Kullanma

Bir Hugging Face veri setini görselleştirmenin en basit yolu, komut satırı arayüzünü kullanmaktır. Bunu IMDB veri setiyle deneyin:

# Load the IMDB dataset from the Hub
embedding-atlas stanfordnlp/imdb

# Specify the text column for embedding computation
embedding-atlas stanfordnlp/imdb --text "text"

# Load only a sample for faster exploration
embedding-atlas stanfordnlp/imdb --text "text" --sample 5000

Kendi veri setleriniz için aynı kalıbı kullanın:

# Load your dataset from the Hub
embedding-atlas username/dataset-name

# Load multiple splits
embedding-atlas username/dataset-name --split train --split test

# Specify custom text column
embedding-atlas username/dataset-name --text "content"

Python ve Jupyter Kullanarak

Jupyter defterlerinde etkileşimli keşif için Embedding Atlas'ı da kullanabilirsiniz:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load the IMDB dataset from Hugging Face Hub
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")

# Convert to pandas DataFrame
df = dataset.to_pandas()

# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widget

Kendi veri setleriniz için:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load your dataset from the Hub
dataset = load_dataset("username/dataset-name", split="train")
df = dataset.to_pandas()

# Create interactive widget
widget = EmbeddingAtlasWidget(df)
widget

Hazır Hesaplanmış Gömlemlerle Çalışma

Önceden hesaplanmış gömme (embedding) içeren veri setleriniz varsa, bunları doğrudan yükleyebilirsiniz:

# Load dataset with pre-computed coordinates
embedding-atlas username/dataset-name \
    --x "embedding_x" \
    --y "embedding_y"

# Load with pre-computed nearest neighbors
embedding-atlas username/dataset-name \
    --neighbors "neighbors_column"

Gömleştirmeleri Özelleştirme

Embedding Atlas varsayılan olarak SentenceTransformers kullanır ancak özel gömme modellerini destekler:

# Use a specific embedding model
embedding-atlas stanfordnlp/imdb \
    --text "text" \
    --model "sentence-transformers/all-MiniLM-L6-v2"

# For models requiring remote code execution
embedding-atlas username/dataset-name \
    --model "custom/model" \
    --trust-remote-code

UMAP Projeksiyon Parametreleri

Belirli kullanım durumunuz için boyut indirgemeyi ince ayarlayın:

embedding-atlas stanfordnlp/imdb \
    --text "text" \
    --umap-n-neighbors 30 \
    --umap-min-dist 0.1 \
    --umap-metric "cosine"

Kullanım Senaryoları

Metin Veri Setlerini Keşfetme

Küme, aykırı değer ve örüntüleri belirlemek için metin korpüslerini görselleştirin ve keşfedin:

from embedding_atlas.widget import EmbeddingAtlasWidget
from datasets import load_dataset
import pandas as pd

# Load a text classification dataset
dataset = load_dataset("stanfordnlp/imdb", split="train[:5000]")
df = dataset.to_pandas()

# Visualize with metadata
widget = EmbeddingAtlasWidget(df)
widget

Ek Kaynaklar

• Embedding Atlas GitHub Deposu
• Resmi Dokümantasyon
• Etkileşimli Demo
• Komut Satırı Referansı