# torchtitan

[torchtitan](https://github.com/pytorch/torchtitan), büyük dil modelleri için PyTorch'un dağıtık eğitim çerçevesidir. Tamamen Parçalı Veri Paralelliği (FSDP), tensör, boru hattı ve bağlam paralelliğini (4D paralellik) destekler. torchtitan, [torch.compile](../perf_torch_compile) ile tam uyumludur ve bellek yükünü önemli ölçüde azaltarak eğitimi hızlandıran çekirdek birleştirme ve grafik optimizasyonlarını mümkün kılar.

> [!NOTE]
> Şu anda yalnızca yoğun (dense) modeller desteklenmektedir.

Transformers modelini doğrudan torchtitan'ın dağıtık eğitim altyapısında kullanın.

```py
import torch
from torchtitan.config.job_config import JobConfig
from torchtitan.experiments.transformers_modeling_backend.job_config import (
    HFTransformers,
)
from torchtitan.experiments.transformers_modeling_backend.model.args import (
    TitanDenseModelArgs,
    HFTransformerModelArgs,
)
from torchtitan.experiments.transformers_modeling_backend.model.model import (
    HFTransformerModel,
)

job_config = JobConfig()

job_config.hf_transformers = HFTransformers(model="Qwen/Qwen2.5-7B")

titan_args = TitanDenseModelArgs()
model_args = HFTransformerModelArgs(titan_dense_args=titan_args).update_from_config(
    job_config
)

model = HFTransformerModel(model_args)
```

## Transformers entegrasyonu

1. [AutoConfig.from_pretrained()](/docs/transformers/main/tr/model_doc/auto#transformers.AutoConfig.from_pretrained) belirli bir modelin yapılandırmasını yükler. Yapılandırma değerleri `HFTransformerModelArgs` içindeki torchtitan tarzı argümanlara kopyalanır.
2. torchtitan'ın `HFTransformerModel` sarmalayıcısı, config içindeki `architecture` alanını tarar ve [LlamaForCausalLM](/docs/transformers/main/tr/model_doc/llama2#transformers.LlamaForCausalLM) gibi ilgili model sınıfını örnekleyip yükler.
3. `forward` yolu, yerel Transformers bileşenlerini kullanırken torchtitan'ın paralelleştirme ve optimizasyon yöntemlerine dayanır. torchtitan, herhangi bir yeniden yazım gerektirmeden Transformers modelini bir torchtitan modeli olarak ele alır.

## Kaynaklar

- [torchtitan](https://github.com/pytorch/torchtitan) deposu