VisDecode: extracción de decisiones de diseño en visualizaciones con modelos pixel-to-text

Resumen

En este trabajo introducimos VisDecode, un framework para extraer decisiones de diseño a partir de visualizaciones. Haciendo uso de imágenes rasterizadas de visualizaciones genéricas (gráficos de barra, lineas, dispersión), nuestro algoritmo identifica atributos perceptuales y los relaciona con los datos. Entrenamos una red neuronal profunda con un dataset sintético que consiste en pares de visualizaciones-decisiones de diseño. Estas visualizaciones fueron rasterizadas a partir de tablas de datos , generadas aleatoriamente por modelos de lenguaje , que incluyen variables cuantitativas y categóricas que se asemejan a datos del mundo real. Luego del entrenamiento, VisDecode es capaz de extraer decisiones de diseño de gráficos provenientes de internet. Nuestro objetivo a mediano plazo es poder mejorar las interfaces de visualización para lograr mejores prácticas de diseño.