A Hybrid RAG for Answering Questions about Technical Documentation from Github Projects

Gonzalo Librandi; Nicolás Miccio Palermo; Rafael Capilla; Antonela Tommasel; Jorge Andrés Diaz-Pace

Autores/as

Gonzalo Librandi Universidad Nacional del Centro de la Provincia de Buenos Aires, Argentina
Nicolás Miccio Palermo Universidad Nacional del Centro de la Provincia de Buenos Aires, Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET), Argentina https://orcid.org/0009-0002-7416-5599
Rafael Capilla Universidad Rey Juan Carlos, España https://orcid.org/0000-0002-6943-1285
Antonela Tommasel Universidad Nacional del Centro de la Provincia de Buenos Aires, Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET), Argentina https://orcid.org/0000-0001-6091-8305
Jorge Andrés Diaz-Pace Universidad Nacional del Centro de la Provincia de Buenos Aires, Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET), Argentina https://orcid.org/0000-0002-1765-7872

Palabras clave:

gestión de conocimiento, LLM, diseño de software

Resumen

Los profesionales del software a menudo deben responder preguntas técnicas sobre un proyecto de desarrollo, que abarcan decisiones de diseño, artefactos de implementación y mejores prácticas, entre otros. Sin embargo, esta información suele estar fragmentada en archivos PDF, repositorios de código y documentación web. La adopción de grandes modelos de lenguaje (LLMs) para proporcionar respuestas mediante técnicas de Generación Aumentada por Recuperación (RAG) puede ayudar a superar este desafío. No obstante, las soluciones existentes ofrecen un soporte limitado para múltiples fuentes de conocimiento y proporcionan una trazabilidad deficiente de las fuentes del contenido generado. En este contexto, se presenta un sistema RAG híbrido para documentación técnica de software que permite la búsqueda semántica en fuentes heterogéneas, preservando las fuentes de referencia y reduciendo las alucinaciones. En particular, se desarrolló un prototipo del sistema RAG híbrido que admite múltiples fuentes de conocimiento y se evaluó mediante un conjunto de preguntas relacionadas a diseño. Los resultados iniciales muestran que el enfoque proporciona respuestas precisas y una buena atribución de fuentes múltiples.

Descargas

Los datos de descarga aún no están disponibles.

Referencias

Bhat, S. R., Rudat, M., Spiekermann, J., & Flores-Herr, N. (2025). Rethinking chunk size for long-document retrieval: A multi-dataset analysis.

Chen, J., Zhao, K., Liu, J., Peng, C., Liu, J., Zhu, H., Gao, P., Yang, P., & Deng, S. (2025). Coreqa: Uncovering potentials of language models in code repository question answering.

Daka, E., & Fraser, G. (2014). A survey on unit testing practices and problems. 25th IEEE International Symposium on Software Reliability Engineering, ISSRE 2014, Naples, Italy, November 3-6, 2014, 201–211.

Es, S., James, J., Anke, L. E., & Schockaert, S. (2024). Ragas: Automated evaluation of retrieval augmented generation. Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2024 - System Demonstrations, St. Julians, Malta, March 17-22, 2024, 150–158.

Forward, A., & Lethbridge, T. (2002). The relevance of software documentation, tools and technologies: A survey. Proceedings of the 2002 ACM Symposium on Document Engineering, McLean, Virginia, USA, November 8-9, 2002, 26–33.

Gamma, E., Helm, R., Johnson, R., & Vlissides, J. (1994). Design patterns: Elements of reusable object-oriented software. Addison-Wesley Professional.

Gao, Y., Xiong, Y., Gao, X., Jia, K., Pan, J., Bi, Y., Dai, Y., Sun, J., Guo, Q., Wang, M., & Wang, H. (2023). Retrieval-augmented generation for large language models: A survey. CoRR, abs/2312.10997.

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks.

Li, X., Bai, Y., Jin, B., Zhu, F., Pan, L., & Cao, Y. (2025). Long context vs. rag: Strategies for processing long documents in llms. Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval, 4110–4113.

Li, Z., Li, C., Zhang, M., Mei, Q., & Bendersky, M. (2024). Retrieval augmented generation or long-context LLMs? a comprehensive study and hybrid approach. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track, 881–893.

Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. (2024). Lost in the middle: How language models use long contexts. Transactions of the Association for Computational Linguistics, 12, 157–173.

Min, S., Krishna, K., Lyu, X., Lewis, M., Yih, W., Koh, P. W., Iyyer, M., Zettlemoyer, L., & Hajishirzi, H. (2023). Factscore: Fine-grained atomic evaluation of factual precision in long form text generation. Proceedings of the 2023 EMNLP 2023, 12076–12100.

Peng, W., Shi, Y., Wang, Y., Zhang, X., Shen, B., & Gu, X. (2025). SWEQA: can language models answer repository-level code questions? CoRR, abs/2509.14635.

Robillard, M. P., Marcus, A., Treude, C., Bavota, G., Chaparro, O., Ernst, N., Gerosa, M. A., Godfrey, M., Lanza, M., Linares-Vásquez, M., et al.(2017). On the role of information diversity in software documentation. IEEE Software, 34(6), 74–80.

Salemi, A., & Zamani, H. (2024). Evaluating retrieval quality in retrieval-augmented generation. Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval, 2395–2400.

Santra, P., Ghosh, M., Ganguly, D., Basuchowdhuri, P., & Naskar, S. K. (2025). HF-RAG: hierarchical fusion-based RAG with multiple sources and rankers. Proceedings of the 34th ACM International Conference on Information and Knowledge Management, CIKM 2025, Seoul, Republic of Korea, November 10-14, 2025, 5202–5207.

Sarmah, B., Mehta, D., Hall, B., Rao, R., Patel, S., & Pasquali, S. (2024). Hybridrag: Integrating knowledge graphs and vector retrieval augmented generation for efficient information extraction. Proceedings of the 5th ACM International Conference on AI in Finance, ICAIF 2024, NY, USA, November 14-17, 2024, 608–616.

Tao, Y., Qin, Y., & Liu, Y. (2025). Retrieval-augmented code generation: A survey with focus on repository-level approaches. arXiv:2510.04905.

Wan, Y., Chen, Z., Liu, Y., Chen, C., & Packianather, M. (2025). Empowering llms by hybrid retrieval-augmented generation for domain-centric q&a in smart manufacturing. Adv. Eng. Inform., 65(PB).

Wang, X., Wang, Z., Gao, X., Zhang, F., Wu, Y., Xu, Z., Shi, T., Wang, Z., Li, S., Qian, Q., Yin, R., Lv, C., Zheng, X., & Huang, X. (2024, November). Searching for best practices in retrieval-augmented generation. In Y. Al-Onaizan, M. Bansal, & Y.-N. Chen (Eds.), Proceedings of the 2024 conference on empirical methods in natural language processing (pp. 17716–17736). Association for Computational Linguistics.

Yu, Y., Ping, W., Liu, Z., Wang, B., You, J., Zhang, C., Shoeybi, M., & Catanzaro, B. (2024). Rankrag: Unifying context ranking with retrieval-augmented generation in llms. NeurIPS 2024, Vancouver, BC, Canada.

Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., Lin, Z., Li, Z., Li, D., Xing, E. P., Zhang, H., Gonzalez, J. E., & Stoica, I. (2023). Judging llm-as-a-judge with mt-bench and chatbot arena. Proceedings of the 37th International Conference on Neural Information Processing Systems.