Huggingface.js documentation
Antarmuka: QuantizationConfig
Antarmuka: QuantizationConfig
Hierarki
QuantizationConfig
Properti
bits
• Optional bits: number
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ groups
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
Presisi pakar yang di-routed ketika berbeda dari kuantizer utama (misalnya pakar FP4 dengan perhatian FP8).
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:920
format
• Optional format: string
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:934
ukuran grup
• Optional group_size: number
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional abaikan: string[]
compressed-tensors menamai daftar pengecualian sebagai ignore alih-alih modules_to_not_convert,
menggunakan sintaks target berawalan re: yang sama dengan config_groups[].targets.
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load_in_4bit
• Optional load_in_4bit: boolean
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:932
mode
• Optional mode: string
Mode kuantisasi MLX (misalnya affine); konfigurasi MLX tidak mendeklarasikan quant_method.
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
Algoritma NVIDIA ModelOpt (quant_method: "modelopt"), misalnya "NVFP4", "W4A16_NVFP4", "FP8",
atau "MIXED_PRECISION" — dalam hal ini, algoritma per-modul terdapat di quantized_layers.
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method: string
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:918
lapisan terkuantisasi
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt mixed-precision: nama modul (atau modul induk, mis. …mlp.experts) -> algoritmanya.
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store _ dtype
• Optional store_dtype: string
Peran yang sama dengan expert_dtype di bawah nama lain: MiMo-V2.6 menggunakan quant_method: "fp8" untuk lapisan dense-nya, tetapi menyimpan expert yang di-rutekan sebagai store_dtype: "mxfp4", dikemas dua per U8.
Didefinisikan di
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub