# bash zero_eval_api.sh -f google -d gsm -m google/gemini-1.5-pro-exp-0801 -p gemini-1.5-pro-exp-0801 -s 1
# bash zero_eval_api.sh -f google -d mmlu-redux -m google/gemini-1.5-pro-exp-0801 -p gemini-1.5-pro-exp-0801 -s 1
# bash zero_eval_api.sh -f google -d zebra-grid -m google/gemini-1.5-pro-exp-0801 -p gemini-1.5-pro-exp-0801 -s 1
# bash zero_eval_api.sh -f google -d crux -m google/gemini-1.5-pro-exp-0801 -p gemini-1.5-pro-exp-0801 -s 1



# bash zero_eval_api.sh -f google -d gsm -m google/gemini-1.5-pro-exp-0801 -p gemini-1.5-pro-exp-0801 -s 1
# bash zero_eval_api.sh -f google -d mmlu-redux -m google/gemini-1.5-pro-exp-0801 -p gemini-1.5-pro-exp-0801 -s 1
# bash zero_eval_api.sh -f google -d zebra-grid -m google/gemini-1.5-pro-exp-0801 -p gemini-1.5-pro-exp-0801 -s 1
# bash zero_eval_api.sh -f google -d crux -m google/gemini-1.5-pro-exp-0827 -p gemini-1.5-pro-exp-0827 -s 1


bash zero_eval_api.sh -f google -d math-l5 -m google/gemini-1.5-flash-exp-0827 -p gemini-1.5-flash-exp-0827 -s 1
bash zero_eval_api.sh -f google -d mmlu-redux -m google/gemini-1.5-flash-exp-0827 -p gemini-1.5-flash-exp-0827 -s 1
bash zero_eval_api.sh -f google -d zebra-grid -m google/gemini-1.5-flash-exp-0827 -p gemini-1.5-flash-exp-0827 -s 1
bash zero_eval_api.sh -f google -d crux -m google/gemini-1.5-flash-exp-0827 -p gemini-1.5-flash-exp-0827 -s 1
bash zero_eval_api.sh -f google -d gsm -m google/gemini-1.5-flash-exp-0827 -p gemini-1.5-flash-exp-0827 -s 1