export TOGETHER_API_KEY="<together API key>"
# export GROQ_API_KEY="<groq api key>"
# export CUSTOM_API_URL="http://127.0.0.1:8090/v1" # if you running local models llama-3-8b-instruct via TGI : https://github.com/huggingface/text-generation-inference

# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml

# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml


# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml


# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml

python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml

python main.py --model gpt-4o-mini-2024-07-18 --series structure --dataset lastletter --prompt_style struct --num_shots 0 --prompt_version tasks/templates/lastletter-t1-structure.yaml
python main.py --model gpt-4o-mini-2024-07-18 --series structure --dataset lastletter --prompt_style struct --num_shots 0 --prompt_version tasks/templates/lastletter-t2-structure.yaml
python main.py --model gpt-4o-mini-2024-07-18 --series structure --dataset lastletter --prompt_style struct --num_shots 0 --prompt_version tasks/templates/lastletter-t3-structure.yaml


python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml

python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml

python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml


python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gpt-4o-mini-2024-07-18 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3.yaml


python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3.yaml


python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2-hybrid.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2-hybrid.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2-hybrid.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml


python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model claude-3-haiku-20240307 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-free.yaml

python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/gsm8k-t3-free.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gpt-3.5-turbo-0125 --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml


# combinations of all 4 format in 4 shot setting
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t1-f3.yaml


python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t2-f3.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 4 --prompt_version tasks/templates/lastletter-t3-f3.yaml

# local models

# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3-hybrid.yaml

# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3-hybrid.yaml

# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3-hybrid.yaml
# python main.py --model llama-3-8b-instruct --series openai --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3-hybrid.yaml


python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t1-f3.yaml


python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t2-f3.yaml

python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f1.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f2.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style text --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style json --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style yaml --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f3.yaml
python main.py --model gemini-1.5-flash --dataset lastletter --prompt_style xml --num_shots 8 --prompt_version tasks/templates/lastletter-t3-f3.yaml


# gemma 9B , make sure you have groq api enabled

# python main.py --model gemma2-9b-it --series structure --dataset lastletter --prompt_style struct --num_shots 0 --prompt_version tasks/templates/lastletter-t1-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset lastletter --prompt_style struct --num_shots 0 --prompt_version tasks/templates/lastletter-t2-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset lastletter --prompt_style struct --num_shots 0 --prompt_version tasks/templates/lastletter-t3-structure.yaml

# python main.py --model gemma2-9b-it --series structure --dataset gsm8k --prompt_style struct --num_shots 0 --prompt_version tasks/templates/gsm8k-t1-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset gsm8k --prompt_style struct --num_shots 0 --prompt_version tasks/templates/gsm8k-t2-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset gsm8k --prompt_style struct --num_shots 0 --prompt_version tasks/templates/gsm8k-t3-structure.yaml

# python main.py --model gemma2-9b-it --series structure --dataset task280 --prompt_style struct --num_shots 0 --prompt_version tasks/templates/task280-t1-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset task280 --prompt_style struct --num_shots 0 --prompt_version tasks/templates/task280-t2-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset task280 --prompt_style struct --num_shots 0 --prompt_version tasks/templates/task280-t3-structure.yaml

# python main.py --model gemma2-9b-it --series structure --dataset multifin --prompt_style struct --num_shots 0 --prompt_version tasks/templates/multifin-t1-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset multifin --prompt_style struct --num_shots 0 --prompt_version tasks/templates/multifin-t2-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset multifin --prompt_style struct --num_shots 0 --prompt_version tasks/templates/multifin-t3-structure.yaml

# python main.py --model gemma2-9b-it --series structure --dataset ddxplus --prompt_style struct --num_shots 0 --prompt_version tasks/templates/ddxplus-t1-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset ddxplus --prompt_style struct --num_shots 0 --prompt_version tasks/templates/ddxplus-t2-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset ddxplus --prompt_style struct --num_shots 0 --prompt_version tasks/templates/ddxplus-t3-structure.yaml

# python main.py --model gemma2-9b-it --series structure --dataset sports --prompt_style struct --num_shots 0 --prompt_version tasks/templates/sports-t1-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset sports --prompt_style struct --num_shots 0 --prompt_version tasks/templates/sports-t2-structure.yaml
# python main.py --model gemma2-9b-it --series structure --dataset sports --prompt_style struct --num_shots 0 --prompt_version tasks/templates/sports-t3-structure.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style text --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style json --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style yaml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t1-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t2-f3.yaml

# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f1.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f2.yaml
# python main.py --model gemma2-9b-it --series groq --dataset lastletter --prompt_style xml --num_shots 0 --prompt_version tasks/templates/lastletter-t3-f3.yaml
