Transformers documentation
SarvamMLA
Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2026-11-19.
SarvamMLA
Tổng quan
SarvamMLA là một mô hình ngôn ngữ Mixture of Experts (MoE) có 105 tỷ tham số do Sarvam AI phát triển. Nó sử dụng Multi-head Latent Attention (MLA) kết hợp với định tuyến MoE thưa, có kiến trúc giống hệt DeepSeek-V3.
Các tính năng kiến trúc chính:
- Multi-head Latent Attention (MLA): Nén KV bậc thấp với RoPE tách rời, giảm bộ nhớ cache KV trong khi duy trì hiệu suất.
- Sparse Mixture of Experts: 128 chuyên gia định tuyến với 8 chuyên gia hoạt động cho mỗi token, cùng 1 chuyên gia dùng chung. Lớp đầu tiên sử dụng MLP dày đặc.
- DeepSeek YaRN RoPE: Hỗ trợ ngữ cảnh mở rộng lên đến 131K token thông qua các nhúng vị trí quay YaRN.
- Định tuyến Sigmoid với top-k dựa trên nhóm: Định tuyến lựa chọn token sử dụng điểm sigmoid với hiệu chỉnh thiên lệch chuyên gia và lựa chọn nhận thức nhóm.
Mô hình này sử dụng kiến trúc DeepSeek-V3 với cấu hình tùy chỉnh. Xem tài liệu DeepSeek-V3 để tham khảo mô hình và hàm forward.
Cách sử dụng
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"sarvamai/sarvam-105b",
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-105b")
inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))SarvamMLAConfig
lớp transformers.SarvamMLAConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 16384moe_intermediate_size: int = 2048num_hidden_layers: int = 32num_attention_heads: int = 64num_key_value_heads: int | None = Nonen_shared_experts: int = 1n_routed_experts: int = 128output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int | None = Noneqk_rope_head_dim: int = 64v_head_dim: int | None = 128qk_nope_head_dim: int = 128n_group: int | None = 1topk_group: int | None = 1num_experts_per_tok: int | None = 8first_k_dense_replace: int | None = 1norm_topk_prob: bool | None = Truehidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1pretraining_tp: int | None = 1tie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonerope_interleave: bool | None = Trueattention_bias: bool = Falseattention_dropout: float | int | None = 0.0num_mtp_layers: int = 0 )
Tham số
- vocab_size (
int, tuỳ chọn, mặc định là262144) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởiinput_ids. - hidden_size (
int, tùy chọn, mặc định là4096) — Kích thước của các biểu diễn ẩn. - intermediate_size (
int, tùy chọn, mặc định là16384) — Kích thước của các biểu diễn MLP. - moe_intermediate_size (
int, tùy chọn, mặc định là2048) — Kích thước trung gian của các MLP chuyên gia được định tuyến. - num_hidden_layers (
int, tùy chọn, mặc định là32) — Số lượng lớp ẩn trong bộ giải mã Transformer. - num_attention_heads (
int, tùy chọn, mặc định là64) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer. - num_key_value_heads (
int, tùy chọn) — Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếunum_key_value_heads=num_attention_heads, mô hình sẽ sử dụng Multi Head Attention (MHA), nếunum_key_value_heads=1mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại sẽ sử dụng GQA. Khi chuyển đổi checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem bài báo này. Nếu không được chỉ định, giá trị mặc định sẽ lànum_attention_heads. - n_shared_experts (
int, tùy chọn, mặc định là1) — Số lượng chuyên gia dùng chung. - n_routed_experts (
int, tùy chọn, mặc định là128) — Số lượng chuyên gia được định tuyến. - output_router_logits (
bool, tùy chọn, mặc định làFalse) — Xác định xem có nên trả về router logits từ mô hình hay không. Bật tùy chọn này cũng cho phép mô hình xuất ra tổn thất bổ trợ, bao gồm tổn thất cân bằng tải và router z-loss. - routed_scaling_factor (
float, tùy chọn, mặc định là2.5) — Hệ số tỷ lệ cho các chuyên gia được định tuyến. - kv_lora_rank (
int, tùy chọn, mặc định là512) — Rank của các ma trận LoRA cho các phép chiếu key và value. - q_lora_rank (
int, tùy chọn) — Rank của các ma trận LoRA cho phép chiếu query. - qk_rope_head_dim (
int, tùy chọn, mặc định là64) — Kích thước của các đầu query/key sử dụng nhúng vị trí quay (rotary position embeddings). - v_head_dim (
int, tùy chọn, mặc định là128) — Kích thước của các đầu value. - qk_nope_head_dim (
int, tùy chọn, mặc định là128) — Kích thước của các đầu query/key không sử dụng nhúng vị trí quay (rotary position embeddings). - n_group (
int, tùy chọn, mặc định là 1) — Số lượng nhóm cho các chuyên gia được định tuyến. Các checkpoint được phát hành định tuyến trên tất cả các chuyên gia cùng một lúc. - topk_group (
int, tùy chọn, mặc định là 1) — Số lượng nhóm được chọn cho mỗi token. - num_experts_per_tok (
int, tuỳ chọn, mặc định là8) — Số lượng chuyên gia để định tuyến mỗi token. Đây là giá trị top-k cho việc định tuyến chọn token. - first_k_dense_replace (
int, tuỳ chọn, mặc định là 1) — Số lượng lớp dense trong các lớp nông (embed->dense->moe->moe…->lm_head). --k dense layers—/ - norm_topk_prob (
bool, tùy chọn, mặc định làTrue) — Có nên chuẩn hóa trọng số của các chuyên gia được định tuyến hay không. - hidden_act (
str, tùy chọn, mặc định làsilu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ,"gelu","relu","silu", v.v. - max_position_embeddings (
int, tùy chọn, mặc định là4096) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng. - initializer_range (
float, tùy chọn, mặc định là0.006) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. - rms_norm_eps (
float, tùy chọn, mặc định là1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa rms. - use_cache (
bool, tùy chọn, mặc định làTrue) — Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếuconfig.is_decoder=Truehoặc khi mô hình là mô hình sinh chỉ có decoder. - pad_token_id (
int, tùy chọn) — Token id được sử dụng để đệm trong từ vựng. - bos_token_id (
int, tùy chọn, mặc định là0) — Token id được sử dụng cho đầu luồng trong bảng từ vựng. - eos_token_id (
Union[int, list[int]], tùy chọn, mặc định là1) — Token id được sử dụng cho end-of-stream trong bảng từ vựng. - pretraining_tp (
int, tùy chọn, mặc định là1) — Tính năng thử nghiệm. Bậc song song tensor (tensor parallelism rank) được sử dụng trong quá trình tiền huấn luyện. Vui lòng tham khảo tài liệu này để hiểu thêm về nó. Giá trị này là cần thiết để đảm bảo khả năng tái lập chính xác các kết quả tiền huấn luyện. Vui lòng tham khảo vấn đề này. - tie_word_embeddings (
bool, tùy chọn, mặc định làFalse) — Có nên gắn kết các trọng số nhúng theo ánh xạtied_weights_keyscủa mô hình hay không. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], tùy chọn) — Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị chorope_thetavà tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE vớimax_position_embeddingsdài hơn. - rope_interleave (
bool, tùy chọn, mặc định làTrue) — Có nên xen kẽ các nhúng vị trí quay (rotary position embeddings) hay không. - attention_bias (
bool, tùy chọn, mặc định làFalse) — Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không. - attention_dropout (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ dropout cho các xác suất chú ý. - num_mtp_layers (
int, tùy chọn, mặc định là 0) — Số lượng module Multi-Token Prediction (MTP) có thể được thêm vào sau mô hình transformer cơ sở. Các checkpoint được phát hành không bao gồm trọng số MTP.
Đây là lớp cấu hình để lưu trữ cấu hình của một DeepseekV3Model. Nó được sử dụng để khởi tạo một mô hình Sarvam Mla theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của sarvamai/sarvam-105b
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.