CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_mt_bench.py --eval_mode duodec --gamma 24 -n 1 -e llama --draft_model vicuna-68m-q5-gguf --target_model llama-2-7b --max_tokens 128 --temp 0
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 24 -n 1 -e llama --draft_model vicuna-68m-q5-gguf --target_model llama-2-7b --max_tokens 128 --temp 0 --sub_domain translation
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 24 -n 1 -e llama --draft_model vicuna-68m-q5-gguf --target_model llama-2-7b --max_tokens 128 --temp 0 --sub_domain summarization
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 24 -n 1 -e llama --draft_model vicuna-68m-q5-gguf --target_model llama-2-7b --max_tokens 32 --temp 0 --sub_domain qa
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 24 -n 1 -e llama --draft_model vicuna-68m-q5-gguf --target_model llama-2-7b --max_tokens 128 --temp 0 --sub_domain math_reasoning
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_specbench.py --eval_mode duodec --gamma 24 -n 1 -e llama --draft_model vicuna-68m-q5-gguf --target_model llama-2-7b --max_tokens 32 --temp 0 --sub_domain rag
CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 2 --master_port 29005 eval/eval_humaneval.py --eval_mode duodec --gamma 24 -n 1 -e llama --draft_model vicuna-68m-q5-gguf --target_model llama-2-7b --max_tokens 128 --temp 0
