L’erreur quadratique moyenne (RMSE) est un moyen standard de mesurer l’erreur d’un modèle dans la prédiction de données quantitatives. Officiellement elle est définie comme suit:
nous allons essayer de comprendre les raisons de cette mesure de l’erreur de sens à partir d’un point de vue mathématique., Ignorant la division par n, en vertu de la racine carrée, la première chose on peut remarquer une ressemblance avec la formule de la distance Euclidienne entre deux vecteurs dans ℝⁿ:
de Ce nous raconte de manière heuristique que RMSE peut être considéré comme une sorte de (normalisé) la distance entre le vecteur des valeurs prédites et le vecteur des valeurs observées.
Mais pourquoi divisons-nous par n sous la racine carrée ici?, Si nous continuons à n (le nombre d’observations) fixe, il n’est de redimensionner la distance Euclidienne d’un facteur √(1/n). Il est un peu difficile de voir pourquoi c’est la bonne chose à faire, alors plongeons un peu plus profondément.,
Imaginez que nos valeurs observées sont déterminés par l’ajout aléatoire « erreurs” à chacune des valeurs prédites, comme suit:
Ces erreurs, considérés comme des variables aléatoires, pourrait avoir distribution Gaussienne de moyenne m et d’écart-type σ, mais d’une autre distribution avec un carré intégrable PDF (fonction de densité de probabilité) serait aussi travailler., Nous voulons penser à ŷᵢ comme une quantité physique sous-jacente, comme la distance exacte de mars au soleil à un moment donné dans le temps. Notre quantité observée yᵢ serait alors la distance de Mars au soleil telle que nous la mesurons, avec quelques erreurs provenant d’un mauvais calibrage de nos télescopes et du bruit de mesure des interférences atmosphériques.,
La moyenne µ de la distribution de nos erreurs correspondent à une persistance des préjugés venant de la mauvaise calibration, tandis que l’écart-type σ correspond à la quantité de bruit de mesure. Imaginez maintenant que nous connaissons exactement la moyenne μ de la distribution pour nos erreurs et que nous aimerions estimer l’écart type σ., Nous pouvons voir à travers un peu de calcul:
Ici, E est l’attente, et Var(…) est la variance. On peut remplacer la moyenne des attentes E sur la troisième ligne par la E sur la quatrième ligne où ε est une variable avec la même distribution que chacune des eᵢ, car les erreurs eᵢ sont identiquement distribuées, et donc leurs carrés ont tous la même espérance.
rappelez-vous que nous avons supposé que nous connaissions déjà μ exactement., Autrement dit, le biais persistant dans nos instruments est un biais connu, plutôt qu’un biais inconnu. Nous pourrions donc aussi bien corriger ce biais dès le départ en soustrayant μ de toutes nos observations brutes. Autrement dit, Nous pourrions aussi bien supposer que nos erreurs sont déjà distribuées avec la moyenne μ = 0. Cela branchant dans l’équation ci-dessus et en prenant la racine carrée des deux côtés, on obtient:
l’Avis de la gauche semble familier!, Si nous avons supprimé L’attente E de l’intérieur de la racine carrée, c’est exactement notre formule pour la forme RMSE avant. Le théorème central limite nous dit que lorsque n augmente, la variance de la quantité Σᵢ(y — yᵢ)2 / n = σᵢ (eᵢ) 2 / N devrait converger vers zéro. En fait, une forme plus nette du théorème central limite nous dit que sa variance devrait converger vers 0 asymptotiquement comme 1 / n. cela nous dit que Σᵢ (ŷᵢ — yᵢ)2 / n est un bon estimateur pour E = σ2. Mais alors RMSE est un bon estimateur pour l’écart type σ de la distribution de nos erreurs!,
nous devrions également maintenant avoir une explication de la division par n sous la racine carrée en RMSE: cela nous permet d’estimer l’écart type σ De l’erreur pour une observation unique typique plutôt qu’une sorte d ‘ « erreur totale”. En divisant par n, Nous gardons cette mesure d’erreur cohérente lorsque nous passons d’une petite collection d’observations à une collection plus grande (elle devient simplement plus précise lorsque nous augmentons le nombre d’observations). Pour le dire autrement, RMSE est un bon moyen de répondre à la question: « à quelle distance devrions-nous nous attendre à ce que notre modèle soit sur sa prochaine prédiction?,”
pour résumer notre discussion, RMSE est une bonne mesure à utiliser si nous voulons estimer l’écart-type σ d’une valeur observée typique à partir de la prédiction de notre modèle, en supposant que nos données observées peuvent être décomposées comme suit:
le bruit aléatoire ici pourrait être tout ce que notre modèle ne capture pas (par exemple, des variables inconnues qui pourraient influencer les valeurs observées)., Si le bruit est faible, comme estimé par RMSE, cela signifie généralement que notre modèle est bon pour prédire nos données observées, et si RMSE est grand, cela signifie généralement que notre modèle ne tient pas compte des caractéristiques importantes sous-jacentes à nos données.
RMSE en science des données: subtilités de L’utilisation de RMSE
en science des données, RMSE a un double objectif:
- servir d’heuristique pour les modèles de formation
- évaluer l’utilité/la précision des modèles entraînés
cela soulève une question importante: Qu’est-ce que cela signifie pour RMSE d’être « petit”?,
Il convient de noter d’abord et avant tout que « petit” dépendra de notre choix d’unités, et de l’application spécifique que nous espérons. 100 pouces est une grosse erreur dans la conception d’un bâtiment, mais 100 nanomètres ne l’est pas. Sur l’autre main, 100 nanomètres est une petite erreur dans la fabrication d’un bac à glaçons, mais peut-être une grosse erreur dans la fabrication d’un circuit intégré.
pour les modèles d’entraînement, Peu importe les unités que nous utilisons, car tout ce qui nous intéresse pendant l’entraînement est d’avoir une heuristique pour nous aider à réduire l’erreur à chaque itération., Nous nous occupons uniquement sur la taille relative de l’erreur d’une étape à l’autre, pas la taille absolue de l’erreur.
mais en évaluant l’utilité / la précision des modèles formés en science des données , nous nous soucions des unités, car nous n’essayons pas seulement de voir si nous faisons mieux que la dernière fois: nous voulons savoir si notre modèle peut réellement nous aider à résoudre un problème pratique. La subtilité ici est que l’évaluation si RMSE est suffisamment petit ou non dépendra de la précision dont nous avons besoin de notre modèle pour notre application donnée., Il n’y aura jamais de formule mathématique pour cela, car cela dépend de choses comme les intentions humaines (« Qu’avez-vous l’intention de faire avec ce modèle?”), l’aversion au risque (« combien de dommages seraient causés si ce modèle faisait une mauvaise prédiction?”), etc.
outre les unités, il y a aussi une autre considération: « petit” doit également être mesuré par rapport au type de modèle utilisé, au nombre de points de données et à l’historique de formation du modèle avant de l’évaluer pour sa précision., Au début, cela peut sembler contre-intuitif, mais pas lorsque vous vous souvenez du problème de sur-Ajustement.
Il y a un risque de sur-ajustement lorsque le nombre de paramètres dans votre modèle est important par rapport au nombre de points de données que vous avez. Par exemple, si nous essayons de prévoir une réalité, la quantité de y comme une fonction d’une autre réalité, la quantité x, et nos observations sont (xᵢ, yᵢ) avec x₁ < x₂ < x₃ … , un général de l’interpolation théorème nous dit il y a quelques polynôme f(x) de degré au plus n+1 avec f(xᵢ) = yᵢ pour i = 1, … , n., Cela signifie que si nous choisissions notre modèle pour être un polynôme de degré n+1, en modifiant les paramètres de notre modèle (les coefficients du polynôme), nous serions en mesure de ramener RMSE à 0. Cela est vrai quelles que soient nos valeurs Y. Dans ce cas, RMSE ne nous dit rien sur la précision de notre modèle sous-jacent: nous étions assurés de pouvoir modifier les paramètres pour obtenir RMSE = 0 mesuré sur nos points de données existants, qu’il existe ou non une relation entre les deux quantités réelles.,
Mais ce n’est pas seulement lorsque le nombre de paramètres dépasse le nombre de points de données que nous pouvons rencontrer des problèmes. Même si nous n’avons pas une quantité absurdement excessive de paramètres, il se peut que des principes mathématiques généraux ainsi que des hypothèses de fond légères sur nos données nous garantissent avec une forte probabilité qu’en modifiant les paramètres de notre modèle, nous puissions ramener le RMSE en dessous d’un certain seuil. Si nous sommes dans une telle situation, alors RMSE étant en dessous de ce seuil peut ne rien dire de significatif sur le pouvoir prédictif de notre modèle.,
Si nous voulions penser comme un statisticien, la question que nous poserions n’est pas « le RMSE de notre modèle entraîné est-il Petit? »mais plutôt, » Quelle est la probabilité que le RMSE de notre modèle entraîné sur tel ou tel ensemble d’observations soit aussi petit par hasard? »
Ce genre de questions devient un peu compliqué (vous devez en fait faire des statistiques), mais j’espère que vous comprendrez pourquoi il n’y a pas de seuil prédéterminé pour” assez petit RMSE », aussi facile que cela rendrait nos vies.
