Descifrando la ambigüedad semántica en grandes modelos de lenguaje: alineando las respuestas conductuales humanas con las representaciones internas de GPT-2

Resumen

Los Modelos de Lenguaje Grande (LLM), como el GPT-2, presentan un procesamiento de texto similar al humano; sin embargo, sus mecanismos internos para resolver la ambigüedad semántica permanecen opacos, de forma similar a la "caja negra" de la cognición humana. Este estudio investiga cómo los LLM desambiguan sustantivos concretos comparando sus sesgos semánticos con las respuestas conductuales humanas. Se creó un corpus de oraciones con palabras ambiguas (p. ej., "nota") emparejadas con contextos sesgados (p. ej., párrafos cortos relacionados con "música" y "educación"). Los participantes humanos identificaron sus significados percibidos de palabras ambiguas en estos contextos, estableciendo una verdad fundamental conductual (es decir, sesgo humano). El sesgo computacional se midió mediante distancias de coseno entre las incrustaciones estáticas de los significados y las incrustaciones contextualizadas de las palabras ambiguas. Para mejorar la métrica de sesgo computacional, se implementaron dos pasos técnicos: (1) se afinó el modelo para obtener una tokenización basada en palabras, y (2) se definió el significado de cada palabra ambigua mediante listas de palabras. Los resultados revelaron una dinámica no lineal en el sesgo computacional del GPT-2 y un efecto aditivo de ambas mejoras analizadas en el presente trabajo. Además, se observó que la correlación entre el sesgo humano y el sesgo computacional, medida capa por capa, alcanzó su punto máximo en las capas intermedias. Este resultado concuerda con hallazgos previos en la investigación sobre alineación de modelos humanos. Esto sugiere principios computacionales compartidos entre la cognición humana y el procesamiento LLM para resolver la ambigüedad. El estudio impulsa la investigación sobre interpretabilidad al vincular las representaciones internas del modelo con parámetros de referencia del comportamiento humano, ofreciendo información sobre los sistemas lingüísticos tanto artificiales como biológicos.