Root Mean Square Error (RMSE) este o modalitate standard de a măsura eroarea unui model în prezicerea datelor cantitative. Formal este definită după cum urmează:
Să încercăm să exploreze de ce această măsură de eroare are sens din punct de vedere matematic., Ignorând divizia de n sub rădăcină pătrată, primul lucru pe care îl putem observa o asemănare cu formula pentru distanța Euclidiană între doi vectori în ℝⁿ:
Acest lucru ne spune euristic care RMSE poate fi considerat ca un fel de (normalizat) distanța dintre vectorul de valorile prezise și vectorul de valorile observate.dar de ce împărțim cu n sub rădăcina pătrată aici?, Dacă păstrăm n (numărul de observații) fix, tot ce face este să rescaleze distanța euclidiană cu un factor de √(1 / n). Este un pic dificil pentru a vedea de ce acest lucru este dreptul de a face, așa că haideți să se îngropa într-un pic mai adânc.,
Imaginați-vă că ne-a observat valori sunt determinate prin adăugarea la întâmplare „erori” la fiecare din valorile prezise, după cum urmează:
Aceste erori, considerat ca variabile aleatoare, ar putea avea distribuție Gaussiană cu media μ și deviația standard σ, dar orice altă distribuție cu un pătrat integrabilă PDF (funcția densității de probabilitate) ar lucra, de asemenea., Vrem să ne gândim la ŷᵢ ca la o cantitate fizică subiacentă, cum ar fi distanța exactă de la Marte la soare la un anumit moment în timp. Nostru observat cantitate yᵢ ar fi atunci distanța de la Marte la Soare ca ne-am măsura, cu unele erori provenind de la mis-calibrare de telescoapele noastre și măsurarea zgomotului din atmosferice interferențe.,
valoarea medie μ de distribuție de erorile noastre ar corespunde o prejudecată persistentă vine de la mis-calibrare, în timp ce abaterea standard σ ar corespunde cantității de măsurare a zgomotului. Imaginați-vă acum că cunoaștem exact valoarea medie μ a distribuției pentru erorile noastre și am dori să estimăm abaterea standard σ., Putem vedea printr-un pic de calcul:
Aici E speranța, și Var(…) este varianța. Putem înlocui medie de așteptările E pe linia a treia cu E pe linia a patra, unde ε este o variabilă cu aceeași distribuție ca fiecare dintre eᵢ, deoarece erorile eᵢ sunt identic distribuite, și, astfel, pătratele lor toate au aceleași așteptări.amintiți-vă că am presupus că știam deja μ exact., Adică, părtinirea persistentă în instrumentele noastre este o părtinire cunoscută, mai degrabă decât o părtinire necunoscută. Așa că am putea la fel de bine să corectăm această părtinire chiar de pe bat scăzând μ din toate observațiile noastre brute. Adică, am putea presupune că erorile noastre sunt deja distribuite cu Medie μ = 0. Conectarea în ecuația de mai sus și de a lua rădăcină pătrată din ambele părți, apoi dă:
Observați partea stângă, se pare cunoscut!, Dacă am eliminat așteptarea E din interiorul rădăcinii pătrate, este exact formula noastră pentru forma RMSE înainte. Teorema limitei centrale ne spune ca n devine mai mare, variația cantității Σᵢ (ŷᵢ — yᵢ)2 / n = Σᵢ (eᵢ)2 / n-ar converge la zero. În fapt, o mai clară formă de teorema limitei centrale ne spune că varianța sa ar trebui să converg asimptotic la 0 ca 1/n. Acest lucru ne spune că Σᵢ (ŷᵢ — yᵢ)2 / n este un bun estimator pentru E = σ2. Dar atunci RMSE este un bun estimator pentru abaterea standard σ a distribuției erorilor noastre!,de asemenea, ar trebui să avem acum o explicație pentru împărțirea cu n sub rădăcina pătrată din RMSE: ne permite să estimăm abaterea standard σ a erorii pentru o singură observație tipică, mai degrabă decât un fel de „eroare totală”. Prin împărțirea la n, păstrăm această măsură de eroare consecventă pe măsură ce trecem de la o mică colecție de observații la o colecție mai mare (devine mai exactă pe măsură ce creștem numărul de observații). Pentru a o exprima într-un alt mod, RMSE este o modalitate bună de a răspunde la întrebarea: „Cât de departe ar trebui să ne așteptăm ca modelul nostru să fie pe următoarea predicție?,”
Pentru a rezuma discuția noastră, RMSE este o măsură bună de a utiliza, dacă vrem pentru a estima abaterea standard σ tipic valoarea observată din modelul nostru este de predicție, având în vedere faptul că datele observate pot fi descompuse ca:
Zgomotului aici ar putea fi ceva care modelul nostru nu surprinde (de exemplu, variabile necunoscute care ar putea influența valorile observate)., Dacă zgomotul este mic, așa cum este estimat de RMSE, acest lucru înseamnă, în general, că modelul nostru este bun la prezicerea datelor observate, iar dacă RMSE este mare, acest lucru înseamnă, în general, că modelul nostru nu reușește să țină cont de caracteristicile importante care stau la baza datelor noastre.
RMSE în știința datelor: subtilitățile utilizării RMSE
în știința datelor, RMSE are un dublu scop:
- Pentru a servi ca euristică pentru modelele de instruire
- pentru a evalua modelele instruite pentru utilitate/precizie
acest lucru ridică o întrebare importantă: ce înseamnă pentru RMSE să fie „mic”?,trebuie să observăm în primul rând că „mic” va depinde de alegerea unităților noastre și de aplicația specifică pe care o sperăm. 100 inch este o mare eroare într-un design de clădire, dar 100 nanometri nu este. Pe de altă parte, 100 nanometri este o mică eroare în fabricarea unei tăvi cu cuburi de gheață, dar poate o mare eroare în fabricarea unui circuit integrat.
pentru modelele de antrenament, nu contează cu adevărat ce unități folosim, deoarece tot ce ne pasă în timpul antrenamentului este să avem un euristic care să ne ajute să micșorăm eroarea cu fiecare iterație., Ne pasă doar de dimensiunea relativă a erorii de la un pas la altul, nu de dimensiunea absolută a erorii.dar în evaluarea modelelor instruite în știința datelor pentru utilitate / acuratețe , ne pasă de unități, pentru că nu încercăm doar să vedem dacă ne descurcăm mai bine decât data trecută: vrem să știm dacă modelul nostru ne poate ajuta să rezolvăm o problemă practică. Subtilitatea aici este că evaluarea dacă RMSE este suficient de mică sau nu va depinde de cât de exact avem nevoie de modelul nostru pentru a fi pentru aplicația noastră dată., Nu va exista niciodată o formulă matematică pentru aceasta, deoarece depinde de lucruri precum intențiile umane („ce intenționați să faceți cu acest model?”), aversiunea la risc („cât de mult rău ar fi cauzat dacă acest model ar face o predicție proastă?”), etc.
pe lângă unități, există și o altă considerație: „mic” trebuie, de asemenea, măsurat în raport cu tipul de model utilizat, numărul de puncte de date și istoricul instruirii pe care modelul a trecut-o înainte de a-l evalua pentru acuratețe., La început, acest lucru poate părea contra-intuitiv, dar nu atunci când vă amintiți problema supra-montării.există riscul de supra-montare ori de câte ori numărul de parametri din modelul dvs. este mare în raport cu numărul de puncte de date pe care le aveți. De exemplu, dacă suntem încercarea de a prezice o cantitate reală y în funcție de un alt real cantitatea x, și observațiile noastre sunt (xᵢ, yᵢ) cu x₁ < x₂ < x₃ … , un general de interpolare teorema ne spune că există un polinom f(x) de grad cel mult n+1, cu f(xᵢ) = yᵢ pentru i = 1, … , n., Aceasta înseamnă că dacă am alege modelul nostru să fie un polinom de gradul n+1, prin modificarea parametrilor modelului nostru (coeficienții polinomului), am putea aduce RMSE până la 0. Acest lucru este valabil indiferent de valorile noastre Y. În acest caz, RMSE nu ne spune cu adevărat nimic despre exactitatea modelului nostru de bază: am fost garantați că vom putea modifica parametrii pentru a obține RMSE = 0 măsurat măsurat pe punctele noastre de date existente, indiferent dacă există vreo relație între cele două cantități reale.,
dar este nu numai atunci când numărul de parametri depășește numărul de puncte de date pe care le-ar putea rula în probleme. Chiar dacă nu avem o cantitate absurdă excesivă de parametri, este posibil ca principiile matematice generale, împreună cu ipotezele de fond ușoare ale datelor noastre, să ne garanteze cu o mare probabilitate ca, prin modificarea parametrilor din modelul nostru, să putem aduce RMSE sub un anumit prag. Dacă ne aflăm într-o astfel de situație, atunci RMSE fiind sub acest prag nu poate spune nimic semnificativ despre puterea predictivă a modelului nostru.,dacă am vrea să gândim ca un statistician, întrebarea pe care am pune-o nu este „RMSE-ul modelului nostru instruit este mic?”dar mai degrabă,” care este probabilitatea ca RMSE a modelului nostru instruit pe un astfel de set de observații să fie atât de mic din întâmplare?”
aceste tipuri de întrebări devin un pic complicate (de fapt trebuie să faceți statistici), dar sperăm că veți obține imaginea de ce nu există un prag predeterminat pentru „RMSE suficient de mic”, la fel de ușor cum ne-ar face viața.
