Ranking de dimensiones en vectores densos para recuperaci´on eficiente

Resumen

La Recuperación de Información sobre colecciones de millones de documentos es una tarea computacionalmente intensiva. La aparición de representaciones densas (embeddings) posibilita construir vectores de centenas de dimensiones, convirtiendo al  problema de resolver una consulta en una búsqueda de vectores más cercanos. Como es razonable considerar que no todas las dimensiones de estos embeddings son igualmente importantes, se propone rankear la importancia de las mismas para facilitar su poda seg´ún un requerimiento de efectividad objetivo. En este trabajo se evalúan diversos métodos para la poda. A partir de modelos ampliamente utilizados para generar embeddings y una colección de documentos y consultas de referencia en la comunidad, los experimentos muestran que es posible reducir el tamaño de los vectores hasta un 50% manteniendo hasta un 90% de efectividad, mejorando así la eficiencia.