En savoir plus

Afin d'évaluer la qualité des produits CSMS, il est important de soumettre les résultats de cartographie à une validation. Le principe est de tester les prédictions sur des sites qui n'ont pas participé à l'élaboration de la fonction numérique de prédiction par le modèle de CSMS utilisé.. Il s'agit de mettre la fonction en situation réelle de prédiction afin de savoir si elle est suffisamment performante pour s'y adapter.

Méthodes de validations

Il existe deux grands types de méthodes de validation dans la littérature dont le choix repose sur la taille de jeu de données. Si le jeu de données est dense alors la méthode de validation indépendante consistant à préserver un pourcentage du jeu de données pour tester l'efficacité du modèle, est recommandé. Si, à l'inverse, le jeu est trop peu dense, il est préférable de se tourner vers une méthode de validation croisée. Cette validation consiste à diviser en 10 (à fixer selon l'utilisateur) le jeu de donnée. 9 serviront à calibrer le modèle et 1 sera destiné à le tester. Ce processus sera répété 10 fois pour que tout le jeu de données soit validé. Une fois le jeu de validation constitué, le prochaine étape sera de comparer les valeurs de la propriété étudiée mesurées et les valeurs de prédictions du modèle.

Schéma d'une validation indépendante

Schéma d'une validation croisée

Indicateurs d'évaluation des performances (classification, regression)

Pour quantifier les performances d'une fonction à prédire une propriété ou une classe de sol, il est impératif d'évaluer l'erreur de prédiction, soit la différence  entre la valeur réellement observée et la valeur prédite . Des indicateurs d'évaluation différents sont utilisés pour les prédictions de classification et de régression.

Pour les résultats de classification, on s'intéressera au bon classement des individus dans les classes. Cela revient à calculer, sur l'ensemble de validation, le taux de sites correctement prédits. Des indicateurs plus sophistiqués tenant compte du nombre de classes à prédire sont également couramment calculés (index de Kappa)

Pour les résultats de régression, parmi les très nombreux indicateurs possibles, nous en retiendrons trois qui sont complémentaires: la moyenne des erreurs qui caractérise l'erreur systématique ou biais, l'erreur quadratique moyenne qui quantifie la dispersion des prédictions autour de la vraie valeur et le pourcentage de variance expliquée, un indicateur relatif, qui permet de comparer des performances de prédictions pour des propriétés différentes.

Indicateur de l'évaluation de la prédiction de l'incertitude

En CSMS, il est attaché autant d'importance à prédire l'incertitude de prédiction qu'à prédire la valeur d'une propriété. Dans le processus d'évaluation, il est donc important de contrôler cette prédiction d'incertitude. La prédiction d'incertitude étant formulée par un intervalle de confiance à une probabilité nominale donnée (généralement 90%), sa validation consiste à calculer le taux de sites de validation dont les valeurs sont effectivement incluses dans l'intervalle de confiance prédit. Ce taux est appelé PICP (Prediction Interval Coverage Probability). Dans l'idéal, ce taux devrait être égal à la probabilité nominale. S'il est inférieur, il y a sous estimation de l'incertitude. s'il est supérieur, il y a sur-estimation de l'incertitude.