No todas las instrucciones se olvidan igual

Resumen

Para un agente autónomo basado en un LLM, una salvaguarda no es más que otra instrucción dada al inicio de una ejecución, y a medida que el contexto crece, el agente conserva algunas instrucciones mientras descarta otras. Como una tasa de cumplimiento promedio combina todas las instrucciones, no puede revelar cuál se descartó. Medimos la retención instrucción por instrucción mediante sesiones de programación de 25 turnos en cinco modelos que siguen instrucciones y tres repositorios de Python de código abierto. En esas sesiones, plantamos doce preferencias de programación comunes como pedidos informales intercalados, puntuamos el código resultante con verificadores deterministas en una escala ordinal de 0 a 3, y ajustamos un modelo bayesiano de regresión logística ordinal con efectos jerárquicos por tipo de decisión sobre 244 observaciones. Los efectos de tratamiento van de −2,4 a +5,4 en la escala log-odds (desviación estándar a nivel de grupo de 2,1), lo que muestra una variación considerable entre preferencias. La mayoría de las preferencias ya se cumplen por defecto, y solo tres de doce se benefician de reiterarse (dos bajo una verificación de robustez con un solo modelo). Como estas preferencias sirven de sustituto de salvaguardas, esta disparidad es una preocupación de seguridad. Como una salvaguarda debe sostenerse en cada turno, el cumplimiento agregado puede mantenerse alto incluso después de que se omita la única regla que importa. Por eso, un agente desplegado necesita monitoreo por instrucción para detectarlo.