srun --label python fairseq_cli/train.py     /private/home/suching/raw_data/data-bin/ \
     --task multidomain_language_modeling \
     --sample-break-mode none \
     --log-format simple  \
     --log-interval 50     \
     --skip-invalid-size-inputs-valid-test     \
     --validate-interval-updates 5000     \
     --save-interval-updates 500     \
     --keep-interval-updates 1    \
     --arch transformer_lm    \
     --criterion cross_entropy     \
     --lr-scheduler inverse_sqrt     \
     --warmup-init-lr 1e-07     \
     --lr 0.001               \
     --tokens-per-sample 512          \
     --weight-decay 0.01           \
     --dropout 0.1  \
     --optimizer adam \
     --adam-betas '(0.9, 0.98)'  \
     --clip-norm 0.0      \
     --max-update 12500     \
     --warmup-updates 1000     \
     --update-freq 8     \
     --clip-norm 0.0     \
     --save-dir final_results/domain_parallel_partial_sharing_domain_token        \
     --batch-size-valid 2                        \
     --wandb-project modular_lm           \
     --train-domains 1b,cs,legal,med,openwebtext,realnews,reddit,reviews \
     --eval-domains 1b,cs,legal,med,openwebtext,realnews,reddit,reviews \
     --disable-validation \
     --batch-size 16 --fp16 --fp16-no-flatten-grads \
     --distributed-world-size 8 \
     --distributed-port 12345 \
     --desynchronize --domain-parallel \
     --ddp-backend no_c10d \
     --sync-type manual \
     --data-parallel-groups "0,4,5 1 2 3 6 7" \
     --add-domain-token