Descubriendo indicadores de sesgo en el comportamiento de grandes modelos de lenguaje
Palabras clave:
sesgo en modelos de lenguaje, sesgos sutiles, descubrimiento no supervisado de sesgosResumen
La detección de sesgos en textos generados por modelos de lenguaje (LLMs) suele basarse en listas léxicas predefinidas o en diferencias distribucionales, pero se ve limitada por la variación léxica y morfológica, que dispersa la evidencia estadística. En este trabajo en curso proponemos construir clases de equivalencia de n-gramas a partir de textos generados por LLMs, utilizando lematización para agrupar variantes con contenido semántico similar. Este enfoque reduce la dispersión y concentra la evidencia estadística. Sobre estas unidades, aplicamos una adaptación de Pointwise Mutual Information (PMI) para estimar asociaciones diferenciales entre grupos en un contexto de generación contrastiva, permitiendo identificar indicadores de sesgo que emergen directamente de los datos y mejorar la robustez frente a eventos de baja frecuencia.
Descargas
Referencias
Aka, O., Burke, K., Bauerle, A., Greer, C., & Mitchell, M. (2021). Measuring model biases in the absence of ground truth. AIES. https://doi.org/10.1145/3461702.3462557
Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. PNAS, 122 (8). https://doi.org/10.1073/pnas.2416228122
Gallegos, I. O., Rossi, R. A., Barrow, J., Tanjim, M. M., Kim, S., Dernoncourt, F., Yu, T., Zhang, R., & Ahmed, N. K. (2024). Bias and fairness in large language models: A survey. Computational Linguistics, 50 (3), 1097–1179. https://doi.org/10.1162/coli_a_00524
Nangia, N., Vania, C., Bhalerao, R., & Bowman, S. R. (2020). CrowS-pairs: A challenge dataset for measuring social biases in masked language models. In EMNLP. https://doi.org/10.18653/v1/2020.emnlp-main.154
Panda, S., Agarwal, A., & Patel, H. L. (2025). Accesseval: Benchmarking disability bias in large language models. https://doi.org/10.18653/v1/2025.emnlp-main.1653
Valentini, F., Rosati, G., Blasi, D., Fernandez Slezak, D., & Altszyler, E. (2023). On the interpretability and significance of bias metrics in texts: A PMIbased approach. In ACL. https://doi.org/10.18653/v1/2023.acl-short.44
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Sofía Desimone, Laura Alonso Alemany
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Acorde a estos términos, el material se puede compartir (copiar y redistribuir en cualquier medio o formato) y adaptar (remezclar, transformar y crear a partir del material otra obra), siempre que a) se cite la autoría y la fuente original de su publicación (revista y URL de la obra), b) no se use para fines comerciales y c) se mantengan los mismos términos de la licencia.
