Interface : ModelConfig

Propriétés

expert _ dtype

• Optional expert_dtype : string

Certains MoEs stockent leurs experts à une précision plus faible que le reste du modèle et le déclarent ici, en dehors de quantization_config (par exemple DeepSeek-V4). Utilisé comme solution de repli lorsque la configuration de quantification ne déclare pas son propre expert_dtype (comme c'est le cas pour DeepSeek-V4.1).

Défini dans

packages/hub/src/lib/parse-safetensors-metadata.ts:968

---

quantification

• Quantification Optional : MlxQuantizationConfig

Format MLX actuel, avec éventuellement des remplacements par module, indexés par nom de module.

Défini dans

packages/hub/src/lib/parse-safetensors-metadata.ts:960

---

quantization _ config

• Optional quantization_config : QuantizationConfig | MlxQuantizationConfig

Défini dans

packages/hub/src/lib/parse-safetensors-metadata.ts:961

---

text _ config

• Optional text_config : Pick<ModelConfig, "expert_dtype" | "quantization" | "quantization_config">

Défini dans

packages/hub/src/lib/parse-safetensors-metadata.ts:962

Update on GitHub