torchtitan

torchtitan, büyük dil modelleri için PyTorch’un dağıtık eğitim çerçevesidir. Tamamen Parçalı Veri Paralelliği (FSDP), tensör, boru hattı ve bağlam paralelliğini (4D paralellik) destekler. torchtitan, torch.compile ile tam uyumludur ve bellek yükünü önemli ölçüde azaltarak eğitimi hızlandıran çekirdek birleştirmesi ve grafik optimizasyonlarını mümkün kılar.

Şu anda yalnızca yoğun (dense) modeller desteklenmektedir.

Transformers modelini doğrudan torchtitan’ın dağıtık eğitim altyapısında kullanın.

import torch
from torchtitan.config.job_config import JobConfig
from torchtitan.experiments.transformers_modeling_backend.job_config import (
    HFTransformers,
)
from torchtitan.experiments.transformers_modeling_backend.model.args import (
    TitanDenseModelArgs,
    HFTransformerModelArgs,
)
from torchtitan.experiments.transformers_modeling_backend.model.model import (
    HFTransformerModel,
)

job_config = JobConfig()

job_config.hf_transformers = HFTransformers(model="Qwen/Qwen2.5-7B")

titan_args = TitanDenseModelArgs()
model_args = HFTransformerModelArgs(titan_dense_args=titan_args).update_from_config(
    job_config
)

model = HFTransformerModel(model_args)

Transformers entegrasyonu

1. AutoConfig.from_pretrained() belirli bir modelin yapılandırmasını yükler. Yapılandırma değerleri HFTransformerModelArgs içindeki torchtitan tarzı argümanlara kopyalanır.
2. torchtitan’ın HFTransformerModel sarmalayıcısı, yapılandırma dosyasındaki architecture alanını tarar ve LlamaForCausalLM gibi ilgili model sınıfını örnekleyip yükler.
3. forward yolu, yerel Transformers bileşenlerini kullanırken torchtitan’ın paralelleştirme ve optimizasyon yöntemlerine dayanır. torchtitan, herhangi bir şey yeniden yazmaya gerek duymadan Transformers modelini bir torchtitan modeli olarak ele alır.

Kaynaklar

• torchtitan deposu