DistLearn: entrenamiento de orden cero descentralizado por capas mediante descenso de coordenadas por bloques basado en teoría de juegos

Iván Jourdan

Autores/as

Iván Jourdan Universidad Nacional de General Sarmiento, Argentina https://orcid.org/0009-0002-7147-7298

Palabras clave:

optimización de orden cero, entrenamiento descentralizado, juegos de potencial exacto, CMA-ES, libre de backpropagation

Resumen

El entrenamiento de Redes Neuronales (NN) mediante backpropagation enfrenta desafíos significativos, tales como el desvanecimiento y la explosión del gradiente. Además, el cálculo de gradientes globales exactos y consistentes presenta un alto costo computacional a medida que se profundiza la red. Estos desafíos se ven acentuados si se propone aplicar en arquitecturas de dispositivos AD-HOC de borde para procesamiento distribuido. En este trabajo, se introduce DistLearn, un algoritmo de entrenamiento descentralizado por capas de Orden Cero. Al formular la optimización de las capas de la NN como un Juego de Potencial Exacto, DistLearn evita la propagación del error hacia atrás, encapsulando a las capas como jugadores independientes. Cada capa actualiza autónomamente sus parámetros, empleando filtrado particular en combinación con estrategias evolutivas basadas en matrices de covarianza (CMA-ES) y macro-gradientes subrogados. Evaluaciones experimentales realizadas indican que DistLearn es capaz de sortear mínimos locales de manera efectiva. En los experimentos realizados, DistLearn logró un éxito del 82 % en objetivos con un RMSE ≤ 0.07 en una topología 1-6-4-4-1, en comparación con el desempeño del optimizador ADAM (44 %). Estos resultados sugieren que DistLearn pudiera ser una alternativa viable, libre de gradientes, para la optimización de problemas no convexos en arquitecturas profundas.

Descargas

Los datos de descarga aún no están disponibles.

Referencias

Cao, S., Ma, Z., & Tian, Y. (2026). Hierarchical Zero-Order Optimization for Deep Neural Networks. https://arxiv.org/abs/2602.10607

Choromanska, A., Henaff, M., Mathieu, M., Arous, G. B., & LeCun, Y. (2015). The loss surfaces of multilayer networks. Artificial intelligence and statistics, 192-204.

Hansen, N. (2006). The CMA evolution strategy: a comparing review. Towards a new evolutionary computation: Advances in the estimation of distribution algorithms, 75-102.

Hinton, G. (2022). The Forward-Forward Algorithm: Some Preliminary Investigations. https://arxiv.org/abs/2212.13345

Huang, G.-B., Zhu, Q.-Y., & Siew, C.-K. (2006). Extreme learning machine: theory and applications. Neurocomputing, 70 (1-3), 489-501.

Kingma, D. P., & Ba, J. (2017). Adam: A Method for Stochastic Optimization. https://arxiv.org/abs/1412.6980

Liu, S., Chen, P.-Y., Kailkhura, B., Zhang, G., Hero III, A. O., & Varshney, P. K. (2020). A primer on zeroth-order optimization in signal processing and machine learning: Principals, recent advances, and applications. IEEE Signal Processing Magazine, 37 (5), 43-54.

Monderer, D., & Shapley, L. S. (1996). Potential Games. Games and Economic Behavior, 14 (1), 124-143. https://doi.org/10.1006/game.1996.0044

Qian, H., Hu, Y.-Q., & Yu, Y. (2016). Derivative-Free Optimization of HighDimensional Non-Convex Functions by Sequential Random Embeddings. IJCAI, 1946-1952.

Ren, M., Kornblith, S., Liao, R., & Hinton, G. (2022). Scaling forward gradient with local losses. arXiv preprint arXiv:2210.03310.

Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. nature, 323 (6088), 533-536.

Salimans, T., Ho, J., Chen, X., Sidor, S., & Sutskever, I. (2017). Evolution Strategies as a Scalable Alternative to Reinforcement Learning. https://arxiv.org/abs/1703.03864

Thrun, S., Burgard, W., & Fox, D. (2005). Probabilistic Robotics (Intelligent Robotics and Autonomous Agents).

Yu, Z., Zhou, P., Wang, S., Li, J., & Huang, H. (2024). Subzero: Random subspace zeroth-order optimization for memory-efficient llm fine-tuning.