python train.py --load_model "/home/client/Projects/RWKV-Infer/models/PRWKV7-reka-flash3-21B-Stage2-preview-ffnaligned.pth" \
 --wandb "RWKV-LM-RLHF cxa070 RWKV-RekaFlash3" --proj_dir "myfolder/Outputs/RekaTest" \
 --vocab_size 100352 --ctx_len 1536 \
 --epoch_steps 1000 --epoch_count 200 --epoch_begin 0 --epoch_save 1 \
 --micro_bsz 1 --n_layer 44 --n_embd 6144 --dim_ffn 19968 \
 --gqa_kv_heads 8 \
 --head_size_a 96 \
 --rms_norm_eps 1e-5 \
 --lr_init 1e-5 --lr_final 1e-6 \
 --warmup_steps 100 --beta1 0.9 --beta2 0.999 --adam_eps 1e-8 \
 --accelerator gpu --devices 1 --precision 'bf16' \
 --grad_cp 1 --my_testing "cxa070" \
 --strategy deepspeed_stage_2_offload \
 --layer_profile 'layerprofile/44_TEST_lora.csv' \
 --quant 1 \
 --quant_mode 'nf4'\
 --gpu_arch 'backstepping_longhead' \
 --limited_lora 0 \
 --sft 1 \
 --sft_jsonmode 1 \
 --sft_jsonmode_tokenizermode 'rekaflash3' \
 --smoothing 0.0001 \
 --random_mode 1 \
 --infctx_dataset_multiplier 4 \
 --optim 'muon' \
 --train_data_file 'myfolder/new_dataset_format' \
 --accumulate_grad_batches 1
