ProgrEval: generación asistida de consignas de evaluación para la enseñanza de programación
Palabras clave:
evaluación en programación, generación automática de ítems, grandes modelos de lenguaje, ontologías educativas, educación en informáticaResumen
El diseño de evaluaciones constituye una tarea central en el ámbito educativo. En particular, la evaluación en programación presenta desafíos adicionales, ya que no solo requiere valorar la comprensión conceptual y la producción de código, sino también la formulación de problemas, la depuración y la explicación o seguimiento de programas. La elaboración de estas consignas suele realizarse manualmente, lo que demanda tiempo, experiencia disciplinar y criterios pedagógicos sólidos. La generación automática de ítems (Automatic Item Generation, AIG) surgió como una línea de investigación orientada a asistir la creación de evaluaciones. Tradicionalmente, se ha centrado en plantillas con parámetros predefinidos, especialmente para cuestionarios de opción múltiple. Aunque estos enfoques ofrecen control, presentan limitaciones para adaptarse a distintos objetivos de evaluación y a la diversidad de desempeños propios de la enseñanza de la programación. En este trabajo se presenta ProgrEval, un software que asiste en la generación automática de consignas de programación mediante el uso de grandes modelos de lenguaje (LLM). El sistema releva los requerimientos de evaluación del docente y utiliza una ontología que representa relaciones entre conceptos, desempeños, niveles de complejidad y formatos de actividad. A partir de esta información, genera prompts estructurados que formalizan y expanden el requerimiento inicial para su uso en herramientas de inteligencia artificial generativa. De esta manera, ProgrEval facilita la producción de consignas pertinentes y alineadas con los objetivos pedagógicos definidos por el docente.
Descargas
Referencias
Atherton, J. S. (2011). Learning and Teaching; Bloom’s Taxonomy.
Bormuth, J. R., & Menzel, P. (1970). On the theory of achievement test items.
Bower, M. (2008). A taxonomy of task types in computing. Proceedings of the Conference on Innovation and technology in computer science education, 281-285. https://doi.org/10.1145/1384271.1384346
Burke, C. M. (2025). AI-Assisted Exam Variant Generation: A Human-in-the-Loop Framework for Automatic Item Creation. Education Sciences, 15(8). https://doi.org/10.3390/educsci15081029
Chan, K. W., Ali, F., Park, J., Sham, K. S. B., Tan, E. Y. T., Chong, F. W. C., Qian, K., & Sze, G. K. (2025). Automatic item generation in various STEM subjects using large language model prompting. Computers and Education: Artificial Intelligence, 8, 100344. https://doi.org/10.1016/j.caeai.2024.100344
Doughty, J., Wan, Z., Bompelli, A., Qayum, J., Wang, T., Zhang, J., Zheng, Y., Doyle, A., Sridhar, P., Agarwal, A., Bogart, C., Keylor, E., Kultur, C., Savelka, J., & Sakr, M. (2024). A Comparative Study of AI-Generated (GPT-4) and Human-crafted MCQs in Programming Education. Australian Computing Education Conference, 114-123. https://doi.org/10.1145/3636243.3636256
Gierl, M., & Lai, H. (2016). Automatic Item Generation. Routledge/Taylor & Francis Group. https://doi.org/10.4018/978-1-5225-7365-4.ch016
Grover, S. (2020). Designing an Assessment for Introductory Programming Concepts in Middle School Computer Science. Proceedings of the 51st ACM Technical Symposium on Computer Science Education, 678-684. https://doi.org/10.1145/3328778.3366896
Khoirul Anam, R. (2025). Prompt Engineering and the Effectiveness of Large Language Models in Enhancing Human Productivity. https://doi.org/10.31219/osf.io/ad9y5_v1
Omopekunola, M. O., & Kardanova, E. Y. (2024). Automatic generation of physics items with Large Language Models (LLMs). REID (Research and Evaluation in Education), 10(2), 168-185. https://doi.org/10.21831/reid.v10i2.76864
Ruf, A., Berges, M., & Hubwieser, P. (2015). Classification of Programming Tasks According to Required Skills and Knowledge Representation. En V. J. Brodnik A (Ed.), Informatics in Schools. Curricula, Competences, and Competitions (pp. 57-68). Heidelberg: Springer.
Sarsa, S., Denny, P., Hellas, A., & Leinonen, J. (2022). Automatic Generation of Programming Exercises and Code Explanations Using Large Language Models. ACM Conference on International Computing Education Research, 27-43. https://doi.org/10.1145/3501385.3543957
Simões, A., & Queirós, R. (2020). On the Nature of Programming Exercises. arXiv preprint. https://doi.org/10.48550/arXiv.2006.14476
Song, Y., Du, J., & Zheng, Q. (2025). Automatic item generation for educational assessments: a systematic literature review. Interactive Learning Environments, 33, 1-20. https://doi.org/10.1080/10494820.2025.2482588
Tew, A. E., & Guzdial, M. (2010). Developing a validated assessment of fundamental CS1 concepts. Proceedings of the 41st ACM Technical Symposium on Computer Science Education, 97-101. https://doi.org/10.1145/1734263.1734297
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Tomás Caballero, Agustín Fernández-Ortúzar, Gonzalo Pablo Fernández, Christian Cossio-Mercado
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Acorde a estos términos, el material se puede compartir (copiar y redistribuir en cualquier medio o formato) y adaptar (remezclar, transformar y crear a partir del material otra obra), siempre que a) se cite la autoría y la fuente original de su publicación (revista y URL de la obra), b) no se use para fines comerciales y c) se mantengan los mismos términos de la licencia.
