Transformers documentation

SarvamMLA

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.24.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2026-11-19.

SarvamMLA

Tổng quan

SarvamMLA là một mô hình ngôn ngữ Mixture of Experts (MoE) có 105 tỷ tham số do Sarvam AI phát triển. Nó sử dụng Multi-head Latent Attention (MLA) kết hợp với định tuyến MoE thưa, có kiến trúc giống hệt DeepSeek-V3.

Các tính năng kiến trúc chính:

  • Multi-head Latent Attention (MLA): Nén KV bậc thấp với RoPE tách rời, giảm bộ nhớ cache KV trong khi duy trì hiệu suất.
  • Sparse Mixture of Experts: 128 chuyên gia định tuyến với 8 chuyên gia hoạt động cho mỗi token, cùng 1 chuyên gia dùng chung. Lớp đầu tiên sử dụng MLP dày đặc.
  • DeepSeek YaRN RoPE: Hỗ trợ ngữ cảnh mở rộng lên đến 131K token thông qua các nhúng vị trí quay YaRN.
  • Định tuyến Sigmoid với top-k dựa trên nhóm: Định tuyến lựa chọn token sử dụng điểm sigmoid với hiệu chỉnh thiên lệch chuyên gia và lựa chọn nhận thức nhóm.

Mô hình này sử dụng kiến trúc DeepSeek-V3 với cấu hình tùy chỉnh. Xem tài liệu DeepSeek-V3 để tham khảo mô hình và hàm forward.

Cách sử dụng

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "sarvamai/sarvam-105b",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-105b")

inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

SarvamMLAConfig

lớp transformers.SarvamMLAConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 16384moe_intermediate_size: int = 2048num_hidden_layers: int = 32num_attention_heads: int = 64num_key_value_heads: int | None = Nonen_shared_experts: int = 1n_routed_experts: int = 128output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int | None = Noneqk_rope_head_dim: int = 64v_head_dim: int | None = 128qk_nope_head_dim: int = 128n_group: int | None = 1topk_group: int | None = 1num_experts_per_tok: int | None = 8first_k_dense_replace: int | None = 1norm_topk_prob: bool | None = Truehidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1pretraining_tp: int | None = 1tie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonerope_interleave: bool | None = Trueattention_bias: bool = Falseattention_dropout: float | int | None = 0.0num_mtp_layers: int = 0 )

Tham số

  • vocab_size (int, tuỳ chọn, mặc định là 262144) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi input_ids.
  • hidden_size (int, tùy chọn, mặc định là 4096) — Kích thước của các biểu diễn ẩn.
  • intermediate_size (int, tùy chọn, mặc định là 16384) — Kích thước của các biểu diễn MLP.
  • moe_intermediate_size (int, tùy chọn, mặc định là 2048) — Kích thước trung gian của các MLP chuyên gia được định tuyến.
  • num_hidden_layers (int, tùy chọn, mặc định là 32) — Số lượng lớp ẩn trong bộ giải mã Transformer.
  • num_attention_heads (int, tùy chọn, mặc định là 64) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
  • num_key_value_heads (int, tùy chọn) — Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếu num_key_value_heads=num_attention_heads, mô hình sẽ sử dụng Multi Head Attention (MHA), nếu num_key_value_heads=1 mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại sẽ sử dụng GQA. Khi chuyển đổi checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem bài báo này. Nếu không được chỉ định, giá trị mặc định sẽ là num_attention_heads.
  • n_shared_experts (int, tùy chọn, mặc định là 1) — Số lượng chuyên gia dùng chung.
  • n_routed_experts (int, tùy chọn, mặc định là 128) — Số lượng chuyên gia được định tuyến.
  • output_router_logits (bool, tùy chọn, mặc định là False) — Xác định xem có nên trả về router logits từ mô hình hay không. Bật tùy chọn này cũng cho phép mô hình xuất ra tổn thất bổ trợ, bao gồm tổn thất cân bằng tải và router z-loss.
  • routed_scaling_factor (float, tùy chọn, mặc định là 2.5) — Hệ số tỷ lệ cho các chuyên gia được định tuyến.
  • kv_lora_rank (int, tùy chọn, mặc định là 512) — Rank của các ma trận LoRA cho các phép chiếu key và value.
  • q_lora_rank (int, tùy chọn) — Rank của các ma trận LoRA cho phép chiếu query.
  • qk_rope_head_dim (int, tùy chọn, mặc định là 64) — Kích thước của các đầu query/key sử dụng nhúng vị trí quay (rotary position embeddings).
  • v_head_dim (int, tùy chọn, mặc định là 128) — Kích thước của các đầu value.
  • qk_nope_head_dim (int, tùy chọn, mặc định là 128) — Kích thước của các đầu query/key không sử dụng nhúng vị trí quay (rotary position embeddings).
  • n_group (int, tùy chọn, mặc định là 1) — Số lượng nhóm cho các chuyên gia được định tuyến. Các checkpoint được phát hành định tuyến trên tất cả các chuyên gia cùng một lúc.
  • topk_group (int, tùy chọn, mặc định là 1) — Số lượng nhóm được chọn cho mỗi token.
  • num_experts_per_tok (int, tuỳ chọn, mặc định là 8) — Số lượng chuyên gia để định tuyến mỗi token. Đây là giá trị top-k cho việc định tuyến chọn token.
  • first_k_dense_replace (int, tuỳ chọn, mặc định là 1) — Số lượng lớp dense trong các lớp nông (embed->dense->moe->moe…->lm_head). --k dense layers—/
  • norm_topk_prob (bool, tùy chọn, mặc định là True) — Có nên chuẩn hóa trọng số của các chuyên gia được định tuyến hay không.
  • hidden_act (str, tùy chọn, mặc định là silu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
  • max_position_embeddings (int, tùy chọn, mặc định là 4096) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng.
  • initializer_range (float, tùy chọn, mặc định là 0.006) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
  • rms_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa rms.
  • use_cache (bool, tùy chọn, mặc định là True) — Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu config.is_decoder=True hoặc khi mô hình là mô hình sinh chỉ có decoder.
  • pad_token_id (int, tùy chọn) — Token id được sử dụng để đệm trong từ vựng.
  • bos_token_id (int, tùy chọn, mặc định là 0) — Token id được sử dụng cho đầu luồng trong bảng từ vựng.
  • eos_token_id (Union[int, list[int]], tùy chọn, mặc định là 1) — Token id được sử dụng cho end-of-stream trong bảng từ vựng.
  • pretraining_tp (int, tùy chọn, mặc định là 1) — Tính năng thử nghiệm. Bậc song song tensor (tensor parallelism rank) được sử dụng trong quá trình tiền huấn luyện. Vui lòng tham khảo tài liệu này để hiểu thêm về nó. Giá trị này là cần thiết để đảm bảo khả năng tái lập chính xác các kết quả tiền huấn luyện. Vui lòng tham khảo vấn đề này.
  • tie_word_embeddings (bool, tùy chọn, mặc định là False) — Có nên gắn kết các trọng số nhúng theo ánh xạ tied_weights_keys của mô hình hay không.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], tùy chọn) — Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho rope_theta và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với max_position_embeddings dài hơn.
  • rope_interleave (bool, tùy chọn, mặc định là True) — Có nên xen kẽ các nhúng vị trí quay (rotary position embeddings) hay không.
  • attention_bias (bool, tùy chọn, mặc định là False) — Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không.
  • attention_dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các xác suất chú ý.
  • num_mtp_layers (int, tùy chọn, mặc định là 0) — Số lượng module Multi-Token Prediction (MTP) có thể được thêm vào sau mô hình transformer cơ sở. Các checkpoint được phát hành không bao gồm trọng số MTP.

Đây là lớp cấu hình để lưu trữ cấu hình của một DeepseekV3Model. Nó được sử dụng để khởi tạo một mô hình Sarvam Mla theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của sarvamai/sarvam-105b

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Ví dụ:

>>> from transformers import SarvamMLAConfig

>>> # Initializing a SarvamMLA style configuration
>>> configuration = SarvamMLAConfig()

>>> # Accessing the model configuration
>>> configuration = model.config
Update on GitHub