Destilación de modelos multilingües para la detección de sesgo de género con pocos ejemplos en textos judiciales en español: una revisión sistemática de la literatura

Christian Javier Ratovicius; Antonela Tommasel

Autores/as

Christian Javier Ratovicius Universidad Abierta Interamericana, Argentina https://orcid.org/0000-0003-0420-8936
Antonela Tommasel Universidad Abierta Interamericana, Argentina https://orcid.org/0000-0001-6091-8305

Palabras clave:

sesgo de género, procesamiento de lenguaje natural, decisiones judiciales, destilación de conocimiento, adaptación de dominio

Resumen

El sesgo de género en las decisiones judiciales constituye un desafío crítico para la equidad y la legitimidad de los sistemas de justicia. En el ámbito del Procesamiento de Lenguaje Natural (NLP), la detección automatizada de sesgos suele depender de grandes volúmenes de datos etiquetados, lo que limita su aplicación en contextos de bajos recursos, como el dominio jurídico en español. Si bien trabajos recientes han abordado de forma independiente la destilación de conocimiento, la adaptación de dominio y la evaluación de equidad, su integración en escenarios judiciales con recursos limitados aún no ha sido sistematizada de manera exhaustiva. Este trabajo presenta un Mapeo Sistemático de la Literatura (MSL) que analiza 65 estudios primarios en la intersección entre detección de sesgo de género, modelos eficientes de NLP y adaptación al dominio legal. La revisión sigue lineamientos metodológicos establecidos para identificar, clasificar y evaluar los enfoques existentes, con foco en técnicas de destilación, preentrenamiento específico de dominio y evaluación contrafáctica. Los resultados sugieren que los modelos compactos como DistilBERT o TinyLlama pueden preservar gran parte del desempeño predictivo de arquitecturas de mayor escala como BERT-large o LLaMA, reduciendo significativamente los requerimientos computacionales y habilitando su despliegue en infraestructuras locales con recursos limitados. Asimismo, la adaptación de dominio mejora la detección de sesgos implícitos, mientras que la evaluación contrafáctica se presenta como una herramienta relevante, aunque metodológicamente desafiante en lenguas con género gramatical como el español. No obstante, se identifican limitaciones vinculadas a la consistencia en la evaluación, la validez lingüística de los contrafácticos y los posibles trade-offs entre eficiencia y equidad.

Descargas

Los datos de descarga aún no están disponibles.

Referencias

Betancur Sánchez, D., Aldama García, N., Barbero Jiménez, Á., & Guerrero Nieto, M. (2025). MEL: Legal Spanish language model. arXiv. https://arxiv.org/abs/2501.16011

Bolukbasi, T., Chang, K.-W., Zou, J. Y., Saligrama, V., & Kalai, A. T. (2016). Man is to computer programmer as woman is to homemaker? Debiasing word embeddings. Advances in Neural Information Processing Systems, 29, 4349–4357.

Cañete, J., Chaperon, G., Fuentes, R., Ho, J.-H., Kang, H., & Pérez, J. (2023). Spanish pre-trained BERT model and evaluation data. arXiv. https://arxiv.org/abs/2308.02976

Chalkidis, I., Androutsopoulos, I., & Aletras, N. (2019). Neural legal judgment prediction in English. In Proceedings of the 47th Annual Meeting of the Association for Computational Linguistics (pp. 4317–4323).

Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., & Androutsopoulos, I. (2020). LEGAL-BERT: The Muppets straight out of law school. In Findings of the Association for Computational Linguistics: EMNLP 2020 (pp. 2898–2904).

d'Amato, C., Rubini, G., & Didio, F. (2025). Automated creation of the legal knowledge graph addressing legislation on violence against women: Resource, methodology and lessons learned. arXiv. https://arxiv.org/abs/2508.06368

Derner, E., Fuente, S., Gutiérrez, Y., Moreda, P., & Oliver, N. (2024). Leveraging large language models to measure gender bias in gendered languages. arXiv. https://arxiv.org/abs/2406.13677

Gou, J., Yu, B., Maybank, S. J., & Tao, D. (2021). Knowledge distillation: A survey. International Journal of Computer Vision, 129(6), 1789–1819.

Gu, Y., Dong, L., Wei, F., & Huang, M. (2023). MiniLLM: On-policy distillation of large language models. arXiv. https://arxiv.org/abs/2306.08543

Gutiérrez Rubio, E. (2018). Gender stereotypes in Spanish phraseology. Géneros: Multidisciplinary Journal of Gender Studies, 7(3), 1709–1735.

John, A. M., Aiswarya, M. U., & Panachakel, J. T. (2023). Ethical challenges of using artificial intelligence in judiciary. In 2023 IEEE International Conference on Advanced Networks and Telecommunications Systems (ANTS) (pp. 1–6).

Ma, L., Xiaowei, Y., & Jiazhang, C. (2025). Knowledge distillation and dataset distillation of large language models: Emerging trends, challenges, and future directions. arXiv. https://arxiv.org/abs/2504.14772

Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys, 54(6), 1–35.

Ribeiro, M. T., Wu, T., Guestrin, C., & Sameer, S. (2020). Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 4902–4912).

Robles, M., Bernal, C., Raigoso, D., & Rubio, M. (2025). SESGO: Spanish evaluation of stereotypical generative outputs. arXiv. https://arxiv.org/abs/2509.03329

Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2019). DistilBERT, a distilled version of BERT: Smaller, faster, cheaper and lighter. arXiv. https://arxiv.org/abs/1910.01108

Shao, J.-H., Tsai, W.-T., & Chen, B.-Y. (2026). Mitigating algorithm aversion in the judiciary: How systemic dissatisfaction drives AI acceptance. Computers in Human Behavior, 175, Article 101006. https://doi.org/10.1016/j.chbr.2026.101006

Xinyin, M., Gongfan, F., & Xinchao, W. (2023). LLM-Pruner: On the structural pruning of large language models. Advances in Neural Information Processing Systems, 36, 21702–21720.

Zhang, P., Zeng, G., Wang, T., & Lu, W. (2024). TinyLlama: An open-source small language model. arXiv. https://arxiv.org/abs/2401.02385