CUDA_VISIBLE_DEVICES='2' python asvd.py --model_id="models/Llama-2-7b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 1 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='2' python asvd.py --model_id="models/Llama-2-7b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.95 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='2' python asvd.py --model_id="models/Llama-2-7b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.9 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='2' python asvd.py --model_id="models/Llama-2-7b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.85 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='2' python asvd.py --model_id="models/Llama-2-7b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 1 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='2' python asvd.py --model_id="models/Llama-2-7b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.95 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='2' python asvd.py --model_id="models/Llama-2-7b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.9 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='2' python asvd.py --model_id="models/Llama-2-7b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.85 --use_cache --weight_quant awq_int4 --rank_align=128

CUDA_VISIBLE_DEVICES='1' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 1 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='1' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.95 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='1' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.9 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='1' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.85 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 1 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.95 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.9 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.85 --use_cache --weight_quant awq_int4 --rank_align=128

CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.99 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.98 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.97 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.96 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.95 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.94 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.93 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.92 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.91 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.90 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.89 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.88 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.87 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.86 --use_cache --weight_quant awq_int4 --rank_align=128

CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.99 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.98 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.97 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.96 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.95 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.94 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.93 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.92 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.91 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.90 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.89 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.88 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.87 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.86 --use_cache --weight_quant awq_int8 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.85 --use_cache --weight_quant awq_int8 --rank_align=128

CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.84 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.83 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.82 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.81 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.80 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.79 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.78 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.77 --use_cache --weight_quant awq_int4 --rank_align=128
CUDA_VISIBLE_DEVICES='4' python asvd.py --model_id="models/Llama-2-13b-hf" --act_aware --alpha 0.5 --n_calib_samples 32 --scaling_method abs_mean --param_ratio_target 0.76 --use_cache --weight_quant awq_int4 --rank_align=128