Evaluación de modelos de lenguaje locales en un sistema RAG para asistencia educativa

Dami´an Barsotti; Luis Biedma; Manuel Díaz Ferreiro; Mariano Lescano; Nahuel Seiler

Autores/as

Dami´an Barsotti Universidad Nacional de Córdoba, Argentina https://orcid.org/0009-0003-8868-3263
Luis Biedma Universidad Nacional de Córdoba, Argentina https://orcid.org/0009-0005-7997-3976
Manuel Díaz Ferreiro Procer Tecnologías S.A.S., Argentina https://orcid.org/0009-0001-5577-0972
Mariano Lescano Procer Tecnologías S.A.S., Argentina https://orcid.org/0009-0007-9119-2288
Nahuel Seiler Universidad Nacional de Córdoba, Argentina https://orcid.org/0009-0004-0238-7867

Palabras clave:

RAG, modelos de lenguaje locales, búsqueda híbrida, evaluación de modelos, inclusión educativa

Resumen

Este trabajo presenta el desarrollo colaborativo entre la Facultad de Matemática, Astronomía, Física y Computación (FAMAF) de la Universidad Nacional de Córdoba y la empresa Procer Tecnologías S.A.S. para construir un sistema de Retrieval-Augmented Generation (RAG) de asistencia educativa. El sistema está diseñado para ejecutarse en una computadora local a la que se conecta un dispositivo portátil de asistencia diseñado por la empresa, reemplazando el sistema RAG que tiene actualmente desplegado en la nube. Su objetivo es mejorar el acceso autónomo a contenidos escolares para estudiantes con discapacidad visual, dislexia u otras barreras de aprendizaje. La arquitectura implementada combina almacenamiento vectorial, búsqueda híbrida, proceso de reranking y generación de respuestas con modelos de lenguaje ejecutados localmente vía Ollama. Se evaluaron 10 modelos reducidos utilizando un dataset de 396 pares pregunta respuesta en español, construido a partir de documentos y usuarios reales del servicio en la nube de la empresa. Los resultados muestran que la búsqueda híbrida con reranking mejora consistentemente a la búsqueda vectorial pura en las cinco métricas y en todos los modelos evaluados. Notablemente, los modelos evaluados son de tamaño reducido pudiéndose ejecutar en GPUs de uso hogareño, y aun así obtienen métricas competitivas tomando como referencia las respuestas del sistema que la empresa tiene actualmente.

Descargas

Los datos de descarga aún no están disponibles.

Referencias

Abdin, M., et al.: Phi-4 technical report. arXiv preprint arXiv:2412.08905 (2024)

Chase, H., et al.: LangChain. https://github.com/langchain-ai/langchain (2022)

Chen, J., Xiao, S., Zhang, P., Luo, K., Lian, D., Liu, Z.: M3-Embedding: Multilinguality, multi-functionality, multi-granularity text embeddings through selfknowledge distillation. arXiv preprint arXiv:2402.03216 (2024)

Cormack, G.V., Clarke, C.L., Buettcher, S.: Reciprocal rank fusion outperforms Condorcet and individual rank learning methods. In: Proceedings of the 32nd Annual ACM SIGIR Conference. pp. 758–759. ACM (2009)

DeepSeek-AI: DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. arXiv preprint arXiv:2501.12948 (2025)

Es, S., James, J., Espinosa-Anke, L., Schockaert, S.: RAGAS: Automated evaluation of retrieval augmented generation. arXiv preprint arXiv:2309.15217 (2023)

Gao, Y., Xiong, Y., Gao, X., Jia, K., Pan, J., Bi, Y., Dai, Y., Sun, J., Wang, M., Wang, H.: Retrieval-augmented generation for large language models: A survey. arXiv preprint arXiv:2312.10997 (2023)

Gemma Team, Google DeepMind: Gemma 3 technical report. arXiv preprint arXiv:2503.19786 (2025)

Gerganov, G., et al.: llama.cpp: LLM inference in C/C++. https://github.com/ggerganov/llama.cpp (2023)

Jiang, A.Q., et al.: Mistral 7B. arXiv preprint arXiv:2310.06825 (2023)

Kane, A.: pgvector: Open-source vector similarity search for Postgres. https://github.com/pgvector/pgvector (2021)

Lewis, P., et al.: Retrieval-augmented generation for knowledge-intensive NLP tasks. In: Advances in Neural Information Processing Systems. vol. 33, pp. 9459– 9474 (2020)

Lin, C.Y.: ROUGE: A package for automatic evaluation of summaries. In: Text Summarization Branches Out. pp. 74–81. ACL (2004)

Llama Team, Meta AI: The Llama 3 herd of models. arXiv preprint arXiv:2407.21783 (2024)

Mistral AI: Mistral NeMo. https://mistral.ai/news/mistral-nemo/ (2024)

Mohr, I., Krimmel, M., Sturua, S., et al.: Multi-task contrastive learning for 8192- token bilingual text embeddings. arXiv preprint arXiv:2402.17016 (2024)

NVIDIA Corporation: Answer Accuracy – RAGAS documentation. https://docs.ragas.io/en/latest/concepts/metrics/available_metrics/nvidia_metrics/#answer-accuracy (2025)

OpenAI: Introducing GPT-5.2. https://openai.com/es-419/index/introducing-gpt-5-2/ (2025)

Papineni, K., Roukos, S., Ward, T., Zhu, W.J.: BLEU: a method for automatic evaluation of machine translation. In: Proceedings of the 40th Annual Meeting of the ACL. pp. 311–318 (2002)

Popovic, M.: chrF: character n-gram F-score for automatic MT evaluation. In: Proceedings of the Tenth Workshop on Statistical Machine Translation. pp. 392– 395. ACL (2015)

Procer Tecnologías S.A.S.: Procer 4: Lector auditivo portátil con inteligencia artificial. https://www.procertecnologias.com/products/procer4_es (2024)

Qwen Team: Qwen3 technical report. arXiv preprint arXiv:2505.09388 (2025)

Factual Correctness – RAGAS documentation. https://docs.ragas.io/en/latest/concepts/metrics/available_metrics/factual_correctness/ (2025)

Ramírez, S.: FastAPI. https://fastapi.tiangolo.com (2018)

Resolución decanal 758/2025: Servicio de desarrollo de la Facultad de Matemática, Astronomía, Física y Computación (FAMAF) de la Universidad Nacional de Córdoba (UNC) para la empresa Procer Tecnologías SAS. Digesto Electrónico de la UNC https://digesto.unc.edu.ar/handle/123456789/598620 (2025)

Voucher de innovación colaborativa (prensa agencia innovar y emprender córdoba). https://prensa.cba.gov.ar/informacion-general/innovacion-abierta-y-financiamiento-lanzan-dos-programas-clave-para-empresas-y-startups/ (2025)

Ollama. https://ollama.com (2023)