No hay necesidad de usar sustitutos ad-hoc: el costo esperado es una m´etrica de clasificaci´on basada en principios y de prop´osito general

Resumen

El costo esperado (EC, por sus siglas en inglés) es una de las principales métricas de clasificación introducidas en libros de estadística y aprendizaje automático. Se basa en el supuesto de que, para una aplicación de interés determinada, cada decisión tomada por el sistema tiene un costo correspondiente que depende de la clase verdadera de la muestra. Una métrica de evaluación puede entonces definirse tomando la esperanza del costo sobre los datos. Dos casos especiales del EC son ampliamente utilizados en la literatura de aprendizaje automático: la tasa de error y la tasa de error balanceada. Otras instancias del EC pueden ser útiles para aplicaciones en las que algunos tipos de errores son más graves que otros, o cuando las probabilidades a priori de las clases difieren entre los datos de evaluación y el escenario de uso. Sorprendentemente, la forma general del EC rara vez se utiliza en la literatura de aprendizaje automático. En su lugar, se emplean métricas alternativas ad-hoc como el score F-beta y el coeficiente de correlación de Matthews (MCC). En este trabajo, argumentamos que el EC es superior a estas métricas alternativas, ya que es más general, interpretable y adaptable a cualquier escenario de aplicación. Proporcionamos tanto discusiones con base teórica como ejemplos para ilustrar el comportamiento de las distintas métricas.