Matriz de confusión, curva ROC y AUC: los cimientos del aprendizaje de la evaluación de la máquina
Para evaluar el rendimiento de nuestras herramientas de detección de fraude, confiamos en la matriz de confusión , desde la cual construimos y analizamos la ROC (característica operativa del receptor) y su indicador asociado, AUC ( área bajo la curva).
La matriz de confusión nos permite, al principio, ver los cuatro escenarios posibles en una tarea de clasificación binaria.
¿Qué es una tarea de clasificación binaria?
Esto equivale a construir un modelo capaz de clasificar una situación en dos posibles categorías: "sí" o "no".
Tome el caso de las pruebas de detección de CovVI-19 en ese momento, afortunadamente, la pandemia. Las pruebas podrían dar cuatro escenarios posibles:
- Verdadero positivo: la persona tuvo el Covid y la prueba fue positiva.
- Verdadero negativo: la persona no tenía el Covid y la prueba fue negativa.
- Falso positivo: la persona no tenía la covid, pero la prueba fue positiva.
- Falso negativo: la persona tuvo el Covid, pero la prueba fue negativa.
Transpuesta a la detección de fraude, es exactamente el mismo principio. Buscamos almacenar a las personas en las categorías: "" estafadores "o" no fraudentes ", como anteriormente con las categorías" enfermas "o" no enfermas ". Y esto, cometiendo los menores errores de clasificación posibles.
En Meelo, nuestro objetivo es :
- detectar un máximo de positivos reales: estafadores probados;
- Busca minimizar los falsos positivos: los clientes identificados erróneamente como estafadores;
- Y, sobre todo, no permita que pasen falsos negativos: estafadores no identificados como tales.
A partir de la matriz de confusión, podemos calcular indicadores clave, como la curva ROC (característica operativa del receptor), que ilustra gráficamente el compromiso entre la detección de fraude (la tasa de positivos reales o el fraude detectado adecuadamente) y los errores de alerta (la tasa de falsos positivos, en otras palabras, las transacciones legítimas informadas sobre diferentes tres fresholientes.
Al variar los umbrales de decisión o los "umbrales de alerta" (como podríamos variar la sensibilidad de la prueba CoVVID para detectar el virus), obtenemos diferentes puntos en la curva, lo que refleja el rendimiento del modelo en varios escenarios.
El AUC (área debajo de la curva), o " área debajo de la curva " en francés, mide la superficie debajo de la curva ROC. Al poder dar valor entre 0.5 y 1, el AUC representa la capacidad general del modelo para distinguir el fraude de las transacciones normales, teniendo en cuenta todos los umbrales de decisión. Cuanto más cerca sea el AUC, mejor será el rendimiento del modelo. Un AUC de 0.5 indicaría que el modelo no funcionaría mejor que el azar, como una batería o un sorteo simple.
De AUC a Gini, solo hay un paso ...
El coeficiente de Gini se deriva de AUC. Mientras que el AUC toma un valor entre 0.5 y 1, el Gini normaliza esta medida para variarla entre 0 y 1, que a menudo es más intuitiva. Matemáticamente, el Gini se calcula, de la AUC, de acuerdo con la fórmula:
Gini = 2 × AUC - 1
Por lo tanto, el Gini varía entre 0 y 1 (o 0 % y 100 %). Cuanto mayor sea, mejor será el poder de discriminación del modelo. Al igual que el AUC, un coeficiente de Gini de 0.5 (50 %) corresponde a un modelo aleatorio (batería o cara), mientras que un Gini de 1 (100 %) representa un modelo perfecto.
El coeficiente de Gini es una métrica en gran parte adoptada, especialmente en el sector bancario, para evaluar la eficiencia general de un modelo de puntuación.
Sin embargo, a pesar de su popularidad, tiene un límite crucial. Se centra principalmente en la capacidad general del modelo a ser discriminada entre los perfiles "buenos" y "malos", sin tener en cuenta, ni el desequilibrio entre las clases, ni la distribución de puntajes de probabilidad, ni la confianza que se puede dar a cada predicción individual.
En los casos en que las clases están fuertemente desequilibradas (por ejemplo, 99 % negativas y 1 % positivas), el Gini puede sobreestimar el rendimiento del modelo. Esto es precisamente lo que observamos en la mayoría de los problemas encontrados con nuestros clientes. Afortunadamente, las tasas de fraude son bajas: a menudo alrededor del 1 al 2 % de las transacciones.
Por lo tanto, el Gini da una buena indicación general de la efectividad de un modelo, pero se limita a una visión bruta del rendimiento, sin tener en cuenta la explicación de las predicciones.
Esta es la razón por la cual Meelo ha optado por integrar otra métrica en sus herramientas, además del Gini: la puntuación Brier.
Hacia el Gini y más allá ... ¡gracias a la puntuación de Brier!
A diferencia del Gini, que mide la capacidad del modelo para separar los perfiles buenos y malos, el puntaje Brier evalúa si nuestros puntajes de probabilidad están cerca de la realidad. Por ejemplo, si nuestro modelo predice el 80 % de la posibilidad de fraude, el puntaje de Brier se verifica si, en promedio, este tipo de caso es en realidad fraudulento en 8 de cada 10 casos.
Imagine dos modelos con un coeficiente de Gini equivalente. Los primeros atribuyen puntajes muy desgarrados (cerca de 0 o 100 %), mientras que el segundo concentra la mayoría de sus predicciones alrededor de un área gris (incluida, por ejemplo, entre 40 y 60 %). Aunque su capacidad general de discriminación puede ser comparable, el primer modelo inspira más confianza, porque parece más confiable en sus decisiones.
Es precisamente esta noción de confiabilidad que la puntuación de Brier llega a medir al evaluar la diferencia entre la probabilidad predicha por el modelo (80 % de riesgo por ejemplo) y el resultado observado (0 o 1). Cuanto más baja esta brecha, más las predicciones son consistentes y cercanas a la realidad.
¿Cuáles son las ventajas de la puntuación de Brier?
En Meelo, estamos convencidos de la relevancia de la puntuación Brier . Gracias a esta métrica eficiente:
- Nuestras decisiones están más iluminadas , porque no solo separamos los cupones de los malos, evaluamos la certeza de cada predicción;
- Generamos menos "áreas grises ": la optimización de la puntuación Brier empuja nuestros modelos para generar puntajes más extremos, reduciendo riesgos y verificaciones adicionales, sinónimos de costos y fricción en el viaje del cliente;
- Nuestro enfoque es aún más ético : las políticas conservadoras se evitan tanto como sea posible gracias a decisiones más agudas basadas en una convicción real de riesgo;
- Nuestros usuarios están más satisfechos : al ofrecer una perspectiva complementaria al Gini, el puntaje Brier permite a nuestros clientes comprender mejor la confiabilidad y distribución de los puntajes de fraude.
¿Y el puntaje de habilidad de Brier, Kézaco?
Para facilitar la interpretación de la puntuación Brier , a menudo usamos el puntaje de habilidad de Brier (BSS). Las medidas BSS si nuestro modelo de predicción es más eficiente que un modelo de referencia simple. Cuanto mayor sea la puntuación, más preciso nuestro modelo en sus predicciones. Esta es nuestra forma de validar que nuestro modelo realmente aporta valor agregado a nuestros clientes.
Optimización de las métricas de evaluación: los resultados hablan por sí mismos
Durante el re-entrenamiento de nuestros modelos, la integración de la puntuación Brier hizo posible mejorar significativamente nuestro rendimiento. Con los mismos datos, la puntuación ha pasado de 35 a poco más de 60 puntos, una ganancia de 30 puntos .
Por lo tanto, identificamos más fraude y más formalmente. Este enfoque garantiza la confiabilidad de nuestras predicciones y reduce el riesgo de que el modelo se comporte inestable frente a los perfiles atípicos.
En Meelo, estamos convencidos de que el rendimiento de un modelo de detección de fraude no se limita a su capacidad general de discriminación. Yendo más allá de los indicadores estándar, creamos una sólida confianza gracias a una detección de fraude verdaderamente iluminada y brindamos a nuestros clientes una solución que sea eficiente y responsable.
¿Quieres intercambiar con nuestros expertos antifraude y ir más allá en el análisis de tus puntajes?
