import torch
from transformers import AutoModel, AutoTokenizer, BitsAndBytesConfig # لاحظ استخدام AutoModel

model_id = "zai-org/GLM-4.6V-Flash"

إعدادات الضغط (4-بت)

bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.float16
)

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)

التغيير هنا: استخدام AutoModel بدلاً من AutoModelForCausalLM

model = AutoModel.from_pretrained(
model_id,
quantization_config=bnb_config, # تمرير إعدادات الضغط
device_map="auto",
trust_remote_code=True, # ضروري جداً لتعريف mrope_section
low_cpu_mem_usage=True
)

print("تم تحميل النموذج البصري بنجاح!")