ESPANLI: un benchmark adversarial de NLI para el español rioplatense mediante competencias humano–modelo
Palabras clave:
inferencia en lenguaje natural, benchmark adversarial, modelos de lenguaje, PLN en español, español rioplatense, evaluación humano-en-el-bucleResumen
Los benchmarks de Inferencia en Lenguaje Natural (NLI) como SNLI, MultiNLI y ANLI son hoy herramientas estándar para evaluar modelos de lenguaje, pero su cobertura es mayoritariamente inglesa y sus ejemplos resultan crecientemente resolubles por atajos heurísticos o memorización. La evaluación en español, y en particular en la variante rioplatense, está sub-representada; los conjuntos disponibles suelen ser traducciones que distorsionan la superposición léxica, las condiciones de verdad y el contexto pragmático. Describimos el diseño de ESPANLI, un benchmark adversarial de NLI para el español construido a partir de tesis doctorales alojadas en repositorios públicos de universidades argentinas, con fenómenos rioplatenses anotados por curadores especialistas. Su núcleo es una competencia humano-en-el-bucle en la que generadores con formación específica producen instancias que hacen fallar a modelos de referencia y una comisión de verificación conserva sólo los casos validados por mayoría. Las contribuciones previstas incluyen un corpus adversarial público, una plataforma interactiva de generación y un conjunto de sub-tareas de NLI de nivel experto nativas en castellano.
Descargas
Referencias
Bowman, S. R., Angeli, G., Potts, C., & Manning, C. D. (2015). A large annotated corpus for learning natural language inference. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, 632-642. https://doi.org/10.18653/v1/D15-1075
Conneau, A., Rinott, R., Lample, G., Williams, A., Bowman, S., Schwenk, H., & Stoyanov, V. (2018). XNLI: Evaluating Cross-lingual Sentence Representations. En E. Riloff, D. Chiang, J. Hockenmaier & J. Tsujii (Eds.), Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (pp. 2475-2485). Association for Computational Linguistics. https://doi.org/10.18653/v1/D18-1269
Dagan, I., & Glickman, O. (2004). Probabilistic Textual Entailment: Generic Applied Modeling of Language Variability. Learning Methods for Text Understanding and Mining, 2004(26-29), 2-5.
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. En J. Burstein, C. Doran & T. Solorio (Eds.), Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 4171-4186). Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1423
Grandury, M. (2024). The #Somos600M Project: Generating NLP Resources That Represent the Diversity of the Languages from LATAM, the Caribbean, and Spain. https://doi.org/10.48550/arXiv.2407.17479
Kovatchev, V., & Taulé, M. (2022). InferES : A Natural Language Inference Corpus for Spanish Featuring Negation-Based Contrastive and Adversarial Examples. En N. Calzolari, C.-R. Huang, H. Kim, J. Pustejovsky, L. Wanner, K.-S. Choi, P.-M. Ryu, H.-H. Chen, L. Donatelli, H. Ji, S. Kurohashi, P. Paggio, N. Xue, S. Kim, Y. Hahm, Z. He, T. K. Lee, E. Santus, F. Bond & S.-H. Na (Eds.), Proceedings of the 29th International Conference on Computational Linguistics (pp. 3873-3884). International Committee on Computational Linguistics.
Madaan, L., Esiobu, D., Stenetorp, P., Plank, B., & Hupkes, D. (2025). Lost in Inference: Rediscovering the Role of Natural Language Inference for Large Language Models. En L. Chiruzzo, A. Ritter & L. Wang (Eds.), Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers) (pp. 9229-9242). Association for Computational Linguistics. https://doi.org/10.18653/v1/2025.naacl-long.466
McCoy, R. T., Pavlick, E., & Linzen, T. (2019). Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference. En A. Korhonen, D. Traum & L. Màrquez (Eds.), Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (pp. 3428-3448). Association for Computational Linguistics. https://doi.org/10.18653/v1/P19-1334
Nie, Y., Williams, A., Dinan, E., Bansal, M., Weston, J., & Kiela, D. (2020). Adversarial NLI: A New Benchmark for Natural Language Understanding. En D. Jurafsky, J. Chai, N. Schluter & J. Tetreault (Eds.), Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 4885-4901). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.441
Poliak, A., Naradowsky, J., Haldar, A., Rudinger, R., & Van Durme, B. (2018). Hypothesis Only Baselines in Natural Language Inference. Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, 180-191. https://doi.org/10.18653/v1/S18-2023
Williams, A., Nangia, N., & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. En M. Walker, H. Ji & A. Stent (Eds.), Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) (pp. 1112-1122). Association for Computational Linguistics. https://doi.org/10.18653/v1/N18-1101
Williams, A., Thrush, T., & Kiela, D. (2022). ANLIzing the Adversarial Natural Language Inference Dataset. En A. Ettinger, T. Hunter & B. Prickett (Eds.), Proceedings of the Society for Computation in Linguistics 2022 (pp. 23-54). Association for Computational Linguistics.
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Mauro Santelli, Joaquín Toranzo Calderón, Ramiro Caso, Bruno Muntaabski
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Acorde a estos términos, el material se puede compartir (copiar y redistribuir en cualquier medio o formato) y adaptar (remezclar, transformar y crear a partir del material otra obra), siempre que a) se cite la autoría y la fuente original de su publicación (revista y URL de la obra), b) no se use para fines comerciales y c) se mantengan los mismos términos de la licencia.
