Adaptación de modelos grandes de lenguaje con few-shots learning y calibración post-hoc

Resumen

En el contexto de adaptación de modelos de lenguaje a una tarea específica, utilizar prompt engineering suele mostrar una ganancia en la performance sin necesitar acceder a los pesos del modelo. Otra forma de adaptación, mucho menos estudiada en la literatura, es a través de técnicas de calibración post-hoc, en donde se accede únicamente a la salida del modelo y se hace una transformación lineal sobre ella que redunda en una mejor performance en la tarea. Este enfoque de “caja gris”, en donde sólo se accede a los valores de la capa de salida del modelo, ofrece una alternativa de adaptación computacionalmente más barata que las técnicas de fine-tuning y no ha sido estudiado en profundidad en la literatura. Este trabajo muestra algunos resultados preliminares en donde la combinación de prompt engineering y calibración post-hoc logran una mejora en tareas de preguntas de opción múltiple sobre comportamiento social en dos modelos de lenguaje grandes, Phi-1.5 y Phi-2.
La complementariedad entre estas técnicas abre un camino de investigación más amplio para potenciar la performance del modelo a partir de combinar sistemáticamente prompt engineering y calibración post-hoc.