Evaluación comparativa de LLMs en clasificación automática de código python para exámenes de ingeniería: del ajuste fino local a los modelos de gran escala

Resumen

La calificación de exámenes prácticos de programación Python en cursos universitarios masivos representa un cuello de botella crítico en la actividad docente. Este trabajo aborda su automatización mediante la clasificación binaria del primer criterio de una rúbrica de evaluación —¿el alumno demostró comprensión del método numérico requerido?— sobre un corpus de 127 resoluciones etiquetadas por el docente en la asignatura Computación y Cálculo Numérico de la Facultad de Ciencias Exactas Físicas y Naturales de la Universidad Nacional de Córdoba. Se evalúan ocho modelos de las familias GPT, Gemini y Qwen, incluyendo qwen2.5-coder-7b-instruct ajustado localmente mediante QLoRA (r=16, GPU T4, Google Colab) utilizando ejemplos construidos a partir del material pedagógico de la cátedra y generación sintética. Para estimar la variabilidad de las métricas se aplicó remuestreo bootstrap no paramétrico pareado (B=10,000), obteniendo intervalos de confianza al 95 %. El modelo ajustado alcanza F1=81.34 % (intervalo de confianza: 74.5–87.4), frente al 64.05 % del mismo modelo base sin especialización (+17.3 pp). Además, supera nominalmente en F1 a qwen2.5-72b-instruct (80.40 %), diez veces más grande, y presenta intervalos de confianza solapados con modelos comerciales como gpt-4o (82.47 %). Los resultados sugieren que la especialización con datos de dominio y diseño pedagógico puede compensar parcialmente el escalado de parámetros, constituyendo una alternativa viable y soberana para la automatización de evaluaciones en instituciones públicas, permitiendo procesos de evaluación más consistentes, escalables y apoyando procesos de retroalimentación más oportunos basados en la detección automática de la comprensión conceptual.