CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_mt_bench.py --eval_mode duodec --gamma 16 -n 1 -e vicuna --draft_model vicuna-68m-q5-gguf --target_model vicuna-7b-v1.5 --max_tokens 128 --temp 0
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 16 -n 1 -e vicuna --draft_model vicuna-68m-q5-gguf --target_model vicuna-7b-v1.5 --max_tokens 128 --temp 0 --sub_domain translation
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 16 -n 1 -e vicuna --draft_model vicuna-68m-q5-gguf --target_model vicuna-7b-v1.5 --max_tokens 128 --temp 0 --sub_domain summarization
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 16 -n 1 -e vicuna --draft_model vicuna-68m-q5-gguf --target_model vicuna-7b-v1.5 --max_tokens 128 --temp 0 --sub_domain qa
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 16 -n 1 -e vicuna --draft_model vicuna-68m-q5-gguf --target_model vicuna-7b-v1.5 --max_tokens 128 --temp 0 --sub_domain math_reasoning
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 16 -n 1 -e vicuna --draft_model vicuna-68m-q5-gguf --target_model vicuna-7b-v1.5 --max_tokens 128 --temp 0 --sub_domain rag
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_humaneval.py --eval_mode duodec --gamma 16 -n 1 -e vicuna --draft_model vicuna-68m-q5-gguf --target_model vicuna-7b-v1.5 --max_tokens 128 --temp 0
