Conferencia Invitada: Reconstrucción de avatares a partir de video mediante representaciones neuronales profundas

Resumen

La creación de avatares 3D a partir de videos es un campo de investigación en pleno auge, que busca democratizar la captura y modelado 3D de individuos para posteriormente generar nuevas animaciones. Recientemente, las técnicas basadas en representaciones neuronales han permitido avanzar significativamente la calidad de la geometría reconstruida utilizando cámaras de nivel usuario como los smartphones. En esta charla se presentarán dos trabajos de investigación recientes en el tema. El primer trabajo, denominado IMavatar, utiliza una representación implícita y modelos de deformación neurales para generar avatares de alta precisión geométrica. Gracias a una formulación cuidadosa del modelo de deformación, una vez entrenados los avatares pueden ser reanimados con expresiones que no se vieron durante la fase de entrenamiento. El segundo trabajo, FLARE, extiende el anterior de manera tal que los avatares puedan ser insertados en nuevas escenas, gracias a un nuevo algoritmo de entrenamiento que permite separar los componentes de iluminación de la reflectividad intrínseca de la cara. A través de estos avances buscamos ampliar los límites de la creación digital de humanos, cerrando la brecha entre dispositivos de alta calidad y dispositivos de usuario.