1  MODEL_DIR=${1}
 2  OUTPUT_DIR=${2}
 3  TP=${3}
 4  MODEL_DIR=${MODEL_DIR:-"./pretrained_models/"}
 5  OUTPUT_DIR=${OUTPUT_DIR:-"./results/"}
 6  mkdir -p ${OUTPUT_DIR}
 7  mkdir -p ${OUTPUT_DIR}/evalplus
 8  mkdir -p ${OUTPUT_DIR}/livecodebench
 9  mkdir -p ${OUTPUT_DIR}/MultiPL-E
10  mkdir -p ${OUTPUT_DIR}/bigcodebench
11  TP=${TP:-2}
12  
13  ROOT_DIR="."
14  
15  cd ${ROOT_DIR}/eval-dev-quality
16  bash test.sh ${MODEL_DIR} ${TP} ${OUTPUT_DIR}/eval-dev-quality
17  
18  cd ${ROOT_DIR}/aider;
19  bash test.sh ${MODEL_DIR} ${TP} ${OUTPUT_DIR}/aider
20  
21  cd ${ROOT_DIR}/multipl_e/chat;
22  bash test.sh ${MODEL_DIR} ${TP} ${OUTPUT_DIR}/MultiPL-E
23  
24  cd ${ROOT_DIR}/eval_plus;
25  bash test.sh ${MODEL_DIR} ${TP} ${OUTPUT_DIR}/evalplus
26  
27  cd ${ROOT_DIR}/BigCodeBench;
28  bash test.sh ${MODEL_DIR} ${TP} ${OUTPUT_DIR}/bigcodebench
29  
30  cd ${ROOT_DIR}/cruxeval;
31  bash test.sh ${MODEL_DIR} ${TP} ${OUTPUT_DIR}/cruxeval
32  
33  cd ${ROOT_DIR}/livecode_bench;
34  bash test.sh ${MODEL_DIR} ${TP} ${OUTPUT_DIR}/livecodebench