Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras Futuras

Resumen

Los modelos actuales de Procesamiento del Lenguaje Natural son capaces de alcanzar excelentes resultados en tareas lingüísticas. Por ejemplo, los modelos basados en redes LSTM pueden generar abstracciones para hacer predicciones sobre las palabras futuras. Dicha habilidad abre una ventana en el campo de la neurociencia cognitiva. Se sabe que la probabilidad de que un lector sepa una palabra antes de leerla (variable denominada cloze-Predictability) impacta en el tiempo que el lector se posa sobre ella. Sin embargo, poco se sabe acerca de cuando o como estas predicciones son realizadas. Aquí, entrenamos modelos basados en LSTM para predecir palabras futuras y usar sus predicciones para reemplazar la cloze-Predictability enmodelos estadísticos del campo de la neurociencia. Observamos que la LSTM-Predictability puede modelar movimientos oculares con una alto solapamiento tanto con cloze-Predictability como con la frecuencia léxica. Además, este rendimiento varía en función del corpus de entrenamiento. Este estudio es un paso más hacia la comprensión de cómo nuestro cerebro realiza predicciones durante la lectura.