Tango Evals

Repositorio para reproducir las evaluaciones de laleaderboard con el modelo Tango-70b.

Resultados

Comparación con otros modelos en laleaderboard_es

Notas: - Average: Media no ponderada de todas las métricas válidas de todas las tareas (46 valores totales) - Promedio (Solo Accuracy): Media no ponderada de todas las métricas acc* (22 valores de accuracy) - Promedio (Todas las métricas): Media no ponderada de todas las métricas válidas de todas las tareas (46 valores totales) - Los resultados de otros modelos provienen de laleaderboard_es - Tango-70b destaca especialmente en: Average (59.90), Belebele Spa (92.00), COPAes (89.60), EsCoLA (71.79), RagQuAS (79.87), SpaLawEx (51.26), y XL-Sumes (19.71) - Tango-70b supera significativamente al segundo mejor modelo (google/gemma-2-9b-it con 33.62) por 26.28 puntos porcentuales

Reproducir los resultados

1. Creá y activá un virtual-env de Python ≥ 3.9.
   python -m venv .venv source .venv/bin/activate

2. Instalá dependencias y el harness en modo editable:

bash pip install -r requirements.txt pip install -e .

1. Logeate en Hugging Face

bash huggingface-cli login

1. Ejecutá el script de evaluación:

bash chmod +x run_laleaderboard_es.sh ./run_laleaderboard_es.sh

1. Ejecutá el script de agregación de resultados bash python aggregate_laleaderboard_es_acc.py

El script run_laleaderboard_es.sh recorre cada sub-tarea definida en lm_eval/tasks/laleaderboard/laleaderboard_es.yaml, ejecutando una a la vez. Apenas una tarea termina se escribe el archivo results_<timestamp>.json, por lo que si el proceso se interrumpe conservás todo lo ya completado.

El script aggregate_laleaderboard_es_acc.py lee todos los archivos results_*.json en tango-evals/ y calcula: - Media de métricas de accuracy únicamente - Media de todas las métricas (primera métrica de cada tarea)

Dónde quedan los resultados

Los resultados se guardan en el directorio indicado en OUTPUT_DIR al principio del script (por defecto ./tango-evals). Ejemplo de estructura:

<OUTPUT_DIR>/ └── <model-name-sanitised>/ ├── results_2024-05-29T14-52-17.json # métricas de una tarea └── … # más tareas / timestamps

Los logs de consola por tarea se almacenan en ./logs/ junto al script.

Reanudar o volver a correr

• El script detecta archivos results_*<task>.json existentes y salta esas tareas.
• Podés ajustar MODEL_ARGS, tamaño de batch, dispositivo, etc. editando el encabezado del script.

Hardware

– Hardware usado: 4 × NVIDIA RTX 3090, 256 GB RAM.
– Ajustá batch size o paralelismo según tu GPU.