Eliminación de sesgos agnósticos de incrustaciones estáticas: un enfoque hacia la equidad en los modelos de lenguaje

Resumen

Las representaciones vectoriales de palabras fueron el elemento inicial que dio origen a los métodos de vanguardia actuales para diversas tareas de PLN. Las métricas de sesgo y los métodos de dessesgo para incrustaciones estáticas se han estudiado con éxito moderado, logrando algunas reducciones de sesgo para grupos y métricas específicas. Sin embargo, estos métodos a menudo no logran mejorar múltiples métricas simultáneamente ni impactar significativamente en tareas extrínsecas. La investigación reciente en desesgo se ha centrado principalmente en incrustaciones contextuales y grandes modelos de lenguaje (LLM). Aquí argumentamos que las incrustaciones estáticas proporcionan un entorno más simple y controlado para probar hipótesis y técnicas, que luego pueden extenderse a modelos más complejos. Presentamos un método que captura múltiples dimensiones demográficas (género, raza, edad, etc.) en incrustaciones estáticas simultáneamente, eliminando la necesidad de tareas especializadas o vocabulario específico para cada grupo demográfico.