Les métriques d'évaluation de la classification
Les métriques qui évaluent la classification faite par un modèle permettent de mesurer la capacité du modèle à bien discriminer entre les catégories. Cette évaluation se base sur la matrice de confusion présenté ci-dessous.
Exactitude (Accuracy) :
Les valeurs biens classées sur l'ensemble des valeurs classées.
Précision (Precision) :
Valeur vrai correctement classé sur nombre de valeurs vrai prédites. Cette métrique est utilisée lorsqu'on préfère être sûr de prédire des choses vrais, mais qu'on n'est pas très regardant sur les vrais que l'on classe comme faux.
Rappel (Recall) :
Valeur vrai correctement classé sur nombre de valeurs dans sa vraie classe. On utilise cette métrique lorsqu'on préfère que toutes les valeurs vraies prédites soit vraies en réalités, mais on ne s'intéresse pas aux valeurs faussent que l'on prédit comme vrai.
F1-score :
Métrique générale pour mesurer la performance qui balance les avantages de la précision et du rappel.
Les métriques précédentes sont utiles lorsqu'on classe une valeur (ex : x) dans la bonne catégorie ou non. Mais, lorsqu'on a un grand nombre de classes (ex : x, y, z...) et qu'on veut une métrique globale, on doit ce tourner vers d'autres types de métriques : La moyenne micro et la moyenne macro.
Les formules suivantes se basent sur la précision et le rappel, lorsqu'il est écrit "métrique", vous pouvez choisir le rappel comme la précision.
Moyenne Macro (macro average) :
Somme de la métrique choisie divisé par le nombre total.
Moyenne Micro (micro average) :
Choix d’une métrique où l'on somme toutes les valeurs au numérateur sur toutes les valeurs au dénominateur.
Cela fait le tour des principales métriques utilisées pour évaluer la classification !