Comparación entre algoritmos evolutivos y aprendizaje por refuerzo para autoescalado de workflows en Cloud

Resumen

En los últimos años, muchos experimentos científicos son realizados por medio de workflows científicos. Estas tecnologías facilitan la realización de experimentos que son computacionalmente intensivos, y que muchas veces requieren ser ejecutados en Clouds públicas. Esto hace que optimizar la ejecución de estas aplicaciones sea un problema desafiante debido a que la virtualización de recursos en Cloud crea necesidades de planificación a la vez de representar incertidumbre en la ejecución. Por este motivo, se han usado heurísticas y metaheurísticas para este problema. En particular, se ha intentado resolver el problema usando técnicas de Aprendizaje por Refuerzo y algoritmos evolutivos. En este trabajo se presenta un problema markoviano de decisión para resolver este problema desde el punto de vista de Aprendizaje por Refuerzo. En conjunto con este modelado, se presenta también una variación que permite abordar el mismo problema como un algoritmo evolutivo multiobjetivo. Estas dos estrategias son comparadas usando 4 workflows de referencia de la literatura, utilizando el simulador CloudSimPlus y máquinas virtuales presentes en Amazon. Para este análisis se estudia el costo monetario de ejecución, el tiempo total de ejecución (makespan) y la norma L2 de estas dos métricas.