Evaluación experimental de estrategias de retrieval en arquitecturas RAG aplicadas al dominio judicial

Julio César Bossero

Autores/as

Julio César Bossero Universidad Nacional de La Matanza, Argentina https://orcid.org/0000-0002-2498-9103

Palabras clave:

retrieval-augmented generation, informática jurídica, recuperación semántica

Resumen

Este trabajo presenta el diseño, implementación y evaluación experimental de un sistema Retrieval-Augmented Generation (RAG) aplicado al dominio judicial penal. El objetivo principal fue analizar el desempeño del componente de recuperación semántica en un entorno completamente local, seguro y reproducible, utilizando un corpus real compuesto por 2.592 sentencias judiciales y 46.382 fragmentos vectorizados. El pipeline implementado integra segmentación textual mediante Recursive Character Text Splitter, embeddings densos generados con all-mpnet-base-v2, almacenamiento en ChromaDB y generación contextual con un modelo LLM ejecutado localmente. La evaluación se centró exclusivamente en el módulo de retrieval, empleando métricas estándar de Information Retrieval como Precision@5 y Mean Reciprocal Rank (MRR), complementadas con análisis de similitud coseno y evaluación manual experta de relevancia. Los resultados muestran alta coherencia temática en la recuperación, pero limitaciones en la discriminación de fundamentos jurídicos específicos, especialmente ante variaciones lingüísticas en las consultas. Se identifican como líneas de mejora la incorporación de embeddings jurídicos especializados, técnicas de re-ranking con cross-encoders y optimización del esquema de chunking. El estudio aporta evidencia empírica sobre los desafíos estructurales de los sistemas RAG jurídicos y establece un baseline reproducible para investigaciones futuras.

Descargas

Los datos de descarga aún no están disponibles.

Referencias

Ahmed Kaleem, M. (2025). Estudio de técnicas, parámetros y modelos en un sistema RAG [Trabajo de Fin de Grado, Universitat Politécnica de València]. Escuela Técnica Superior de Ingeniería Informática. Disponible en: https://riunet.upv.es/server/api/core/bitstreams/ fecd1e71-a9bf-4a92-a5ca-49a4649d45df/content

Amiri, M., & Bocklitz, T. (2025). Chunk twice, embed once: A systematic study of segmentation and representation trade-offs in chemistry-aware retrieval-augmented generation. arXiv. https://arxiv.org/abs/2506.17277

Chase, H. (2022). LangChain [Software]. https://github.com/hwchase17/langchain Chroma Team. (2023).

Chroma: The AI-native open-source embedding database [Software]. https://www.trychroma.com/

Ferraris, A. F., Audrito, D., Siragusa, G., & Piovano, A. (2024). Legal chunking: Evaluating methods for effective legal text retrieval. En J. Savelka et al. (Eds.), Legal Knowledge and Information Systems (pp. 275–281). IOS Press. https://doi.org/10.3233/FAIA241255

Günther, M., Mohr, I., Williams, D. J., Wang, B., & Xiao, H. (2024). Late chunking: Contextual chunk embeddings using long-context embedding models. arXiv. https://arxiv.org/abs/2409.04701.

Izacard, G., Lewis, P., Lomeli, M., Hosseini, L., Petroni, F., Schick, T., Dwivedi-Yu, J., Joulin, A., Riedel, S., & Grave, E. (2022). Few-shot learning with retrieval augmented language models. arXiv preprint arXiv:2208.03299. https://arxiv.org/abs/2208.03299

Jiang, A. Q., Sablayrolles, A., Mensch, A., Bamford, C., Chaplot, D. S., de las Casas, D., Bressand, F., Lengyel, G., Lample, G., Saulnier, L., Renard Lavaud, L., Lachaux, M.-A., Stock, P., Le Scao, T., Lavril, T., Wang, T., Lacroix, T., & El Sayed, W. (2023). Mistral 7B. arXiv preprint arXiv:2310.06825.

Khattab, O., & Zaharia, M. (2020). ColBERT: Efficient and effective passage search via contextualized late interaction over BERT. arXiv preprint arXiv:2004.12832. https://doi.org/10.48550/arXiv.2004.12832

LangChain Community. (2024). Text splitters: Recursive character. LangChain Documentation. Disponible en: https://python.langchain.com/docs/modules/data_connection/document_transformers/recursive_character_text_splitter/

Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.

Naveed, H., Khan, A. U., Qiu, S., Saqib, M., Anwar, S., Usman, M., Akhtar, N., Barnes, N., & Mian, A. (2024). A comprehensive overview of large language models. arXiv preprint arXiv:2307.06435. https://arxiv.org/abs/2307.06435.

Nogueira, R., & Cho, K. (2019). Passage Re‑ranking with BERT. arXiv:1901.04085.

Ollama Team. (2023). Ollama [Software]. https://ollama.com

Pipitone, N., & Houir Alami, G. (2024). LegalBench-RAG: A benchmark for retrievalaugmented generation in the legal domain. arXiv preprint arXiv:2408.10343.

Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Proceedings of EMNLP.

Reuter, M., Lingenberg, T., Liepina, R., Lagioia, F., Lippi, M., Sartor, G., Passerini, A., & Sayin, B. (2025). Towards reliable retrieval in RAG systems for large legal datasets. arXiv preprint arXiv:2510.06999.

Sentence-Transformers. (n.d.). Pretrained models. https://www.sbert.net/docs/sentence_transformer/pretrained_models.html

Sentence-Transformers. (n.d.). Retrieve & Re-Rank. https://sbert.net/examples/sentence_transformer/applications/retrieve_rerank/README.html

Smalle, E. H. M., Bogaerts, L., Simonis, M., Duyck, W., Page, M. P. A., Edwards, M. G., & Szmalec, A. (2016). Can chunk size differences explain developmental changes in lexical learning? Frontiers in Psychology, 6, 1925. https://doi.org/10.3389/fpsyg.2015.01925

Smith, B., & Troynikov, A. (2024). Evaluating chunking strategies for retrieval. Chroma Technical Report. https://research.trychroma.com/evaluating-chunking

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., ... & Rush, A. M. (2020). Transformers: State-of-the-Art Natural Language Processing. In Proceedings of EMNLP: System Demonstrations.