インターフェース: QuantizationConfig

階層

• QuantizationConfig

  ↳ MlxQuantizationConfig

プロパティ

ビット

• Optional bits: number

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:930

---

config _ groups

• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:935

---

expert _ dtype

• Optional expert_dtype: string

メインの量子化器と異なる場合のルーティングされたエキスパートの精度（例：FP8アテンションを持つFP4エキスパート）。

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:920

---

形式

• Optional format: string

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:934

---

group _ size

• Optional group_size: number

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:928

---

ignore

• Optional ignore: string[]

compressed-tensors は除外リストを modules_to_not_convert ではなく ignore と呼び、config_groups[].targets と同じ re: プレフィックス付きのターゲット構文を使用します。

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:940

---

load _ in _ 4bit

• Optional load_in_4bit: boolean

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:931

---

load _ in _ 8bit

• Optional load_in_8bit: boolean

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:932

---

mode

• Optional mode: string

MLXの量子化モード（例: affine）。MLXの設定ではquant_methodは宣言されていません。

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:927

---

modules _ to _ not _ convert

• Optional modules_to_not_convert: string[]

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:929

---

quant _ algo

• Optional quant_algo: string

NVIDIA ModelOpt(quant_method: "modelopt")アルゴリズム、例えば"NVFP4"、"W4A16_NVFP4"、"FP8"、または"MIXED_PRECISION"。この場合、モジュールごとのアルゴリズムはquantized_layersにあります。

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:945

---

quant _ method

• Optional quant_method: string

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:918

---

量子化されたレイヤー

• Optional quantized_layers: Record<string, { quant_algo?: string }>

ModelOptの混合精度: モジュール名（または親モジュール、例: …mlp.experts）-> そのアルゴリズム。

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:947

---

store _ dtype

• Optional store_dtype: string

expert_dtype と同じ役割を別の名前で果たします: MiMo-V2.6 は、dense 層に対して quant_method: "fp8" を使用していますが、ルーティングされたエキスパートは store_dtype: "mxfp4" として、U8 1つあたり2つずつパックして保存されます。

定義場所

packages/hub/src/lib/parse-safetensors-metadata.ts:925

Update on GitHub