Sobre los límites estructurales de los sistemas de decisión mediante aprendizaje automático: una perspectiva desde la teoría de la información, las interacciones y la dinámica estocástica

Resumen

Los procedimientos de aprendizaje automatizado usualmente se evalúan en términos de poder predictivo y eficiencia computacional. Sin embargo, la performance alcanzable se encuentra limitada por propiedades estructurales del fenómeno subyacente, que se formalizan en términos de cotas de información. En este trabajo se examinan los límites intrínsecos desde una perspectiva de la teoría de la información y las interacciones. Analizamos el mínimo error alcanzable en problemas de clasificación a través de cotas tipo Fano y los límites de precisión en la estimación paramétrica a través de la desigualdad de Cramér-Rao, enfatizando que dichos límites dependen únicamente del modelo de los datos y no del algoritmo utilizado. Adicionalmente, discutimos como suposiciones implícitas tales como independencia, ergodicidad y estabilidad distribucional afectan la validez de los métodos de inferencia. Trabajando sobre principios de modelado basados en interacciones, revisamos frameworks clásicos como los campos aleatorios de Markov y representaciones basadas en potenciales para codificar dependencias complejas. También describimos los sistemas de decisión, incluyendo arquitecturas de agentes integrados con modelos de lenguaje, como procesos estocásaticos realimentados donde la dinámica dependiente del estado induce comportamientos emergentes. Esta perspectiva destaca la importancia de disponer de modelos adecuados para los datos como un prerrequisito para mejorar la capacidad predictiva, situando así los algoritmos y métodos de aprendizaje dentro de las limitaciones teóricas fundamentales que los gobiernan.