Some script to check that the most common training reigmes work.

``` torchrun --nproc-per-node 2 torchrunmain.py \ --datasetpath preprocesseddata/wikitextwikitext-2-v1EleutherAIpythia-1.4b512 \ --modelnameorpath EleutherAI/pythia-1.4b \ --usepeft \ --relora 10 \ --modelrevision step1000 \ --batchsize 4 \ --totalbatchsize 96 \ --lr 5e-4 \ --maxlength 512 \ --evalevery 20 \ --saveevery 20 \ --numtrainingsteps 40 \ --distributedtype ddp \ --optimizer adamzero \ --tags debug

torchrun --nproc-per-node 2 torchrunmain.py \ --datasetpath preprocesseddata/wikitextwikitext-2-v1EleutherAIpythia-1.4b512 \ --modelnameorpath EleutherAI/pythia-1.4b \ --modelrevision step1000 \ --batchsize 6 \ --totalbatchsize 96 \ --lr 5e-4 \ --maxlength 512 \ --evalevery 2 \ --saveevery 10 \ --numtrainingsteps 20 \ --distributedtype ddp \ --tags debug,fsdp_debug

torchrun --nproc-per-node 2 torchrunmain.py \ --datasetpath preprocesseddata/wikitextwikitext-2-v1t5-base512 \ --modelconfig configs/llama250m.json \ --batchsize 24 \ --totalbatchsize 96 \ --lr 5e-4 \ --maxlength 512 \ --evalevery 2 \ --saveevery 10 \ --numtrainingsteps 20 \ --distributedtype ddp \ --tags debug,fsdpdebug

torchrun --nproc-per-node 2 torchrunmain.py \ --datasetpath preprocesseddata/wikitextwikitext-2-v1t5-base512 \ --modelconfig configs/llama250m.json \ --batchsize 24 \ --totalbatchsize 96 \ --lr 5e-4 \ --maxlength 512 \ --evalevery 2 \ --saveevery 10 \ --numtrainingsteps 20 \ --distributedtype fsdp \ --tags debug,fsdpdebug

torchrun --nproc-per-node 2 torchrunmain.py \ --datasetpath preprocesseddata/wikitextwikitext-2-v1gpt2512 \ --modelconfig configs/llama250m50K.json \ --batchsize 24 \ --totalbatchsize 96 \ --lr 5e-4 \ --maxlength 512 \ --evalevery 2 \ --saveevery 10 \ --numtrainingsteps 20 \ --distributedtype ddp \ --dtype float32 \ --tags debug,fsdp_debug

torchrun --nproc-per-node 2 torchrunmain.py \ --modelconfig configs/llama250m.json \ --batchsize 24 \ --totalbatchsize 96 \ --lr 5e-4 \ --maxlength 512 \ --evalevery 2 \ --saveevery 10 \ --numtrainingsteps 20000 \ --distributedtype fsdp \ --tags debug,fsdp_debug

torchrun --nproc-per-node 2 torchrunmain.py \ --modelconfig configs/llama250m.json \ --batchsize 24 \ --totalbatchsize 96 \ --lr 5e-4 \ --maxlength 512 \ --evalevery 2 \ --saveevery 10 \ --numtrainingsteps 20000 \ --distributedtype fsdp \ --tags debug,fsdp_debug

torchrun --nproc-per-node 2 torchrunmain.py \ --modelconfig configs/llama250m.json \ --batchsize 24 \ --totalbatchsize 96 \ --lr 1e-3 \ --maxlength 512 \ --usepeft \ --relora 10 \ --cyclelength 10 \ --restartwarmupsteps 5 \ --scheduler cosinerestarts \ --warmupsteps 5 \ --resetoptimizeronrelora False \ --optimizermagnitudepruning 0.9 \ --numtrainingsteps 20000 \ --saveevery 5000 \ --evalevery 5000 \ --warmedupmodel checkpoints/llama250m-2023-06-09-11-29-56/model5000 \ --distributedtype fsdp \ --tags debug,fsdpdebug

torchrun --nproc-per-node 2 torchrunmain.py \ --modelconfig configs/llama250m.json \ --batchsize 24 \ --totalbatchsize 96 \ --lr 1e-3 \ --maxlength 512 \ --usepeft \ --relora 10 \ --cyclelength 10 \ --restartwarmupsteps 5 \ --scheduler cosinerestarts \ --warmupsteps 5 \ --resetoptimizeronrelora False \ --optimizermagnitudepruning 0.9 \ --numtrainingsteps 20000 \ --saveevery 5000 \ --evalevery 5000 \ --warmedupmodel checkpoints/llama250m-2023-06-09-11-29-56/model5000 \ --distributedtype fsdp \ --tags debug,fsdpdebug

```