Root Mean Square Error (RMSE) on tavallinen tapa mitata mallin virhe kvantitatiivisten tietojen ennustamisessa. Virallisesti se on määritelty seuraavasti:
yritetään tutkia, miksi tämä toimenpide virhe järkevää, alkaen matemaattinen näkökulmasta., Välittämättä jako n nojalla neliöjuuri, ensimmäinen asia, mitä voimme huomata, on yhdennäköisyys kaava Euklidinen etäisyys kahden vektorit ℝⁿ:
– Tämä kertoo meille, heuristisesti, että RMSE voidaan ajatella jonkinlaisena (normalisoitu) etäisyys vektori ennustetut arvot ja vektori havaitut arvot.
mutta miksi me jaamme n neliöjuuren alla täällä?, Jos pidämme n (havaintojen lukumäärä) kiinteä, se on rescale Euklidinen etäisyys kertoimella √(1/n). On vähän hankala nähdä, miksi tämä on oikein, joten kaivaudutaan hieman syvemmälle.,
Kuvittele, että meidän havaitut arvot määritetään lisäämällä satunnaisia ”virheitä” kunkin ennustetut arvot, seuraavasti:
Nämä virheet, ajatellut kuten satunnainen muuttujia, ehkä Gaussin jakauma, jonka keskiarvo on µ ja keskihajonta σ, mutta muita jakelu-neliö-integroituva PDF (probability density function) olisi myös työtä., Haluamme ajatella ŷᵢ kuin taustalla oleva fyysinen määrä, kuten tarkka etäisyys Mars Auringon tiettynä ajankohtana. Meidän havaittu määrä yᵢ olisi silloin etäisyys Mars Aurinko kuten me mitata sitä, joitakin virheitä tulevat mis-kalibrointi meidän kaukoputket ja mittauskohina ilmakehän häiriöitä.,
keskiarvo μ jakelun meidän virheitä vastaisi pysyviä harhaa tulevat mis-kalibrointi, kun taas keskihajonta σ olisi vastattava määrää, mittauksen kohina. Kuvittele nyt, että tiedämme keskiarvo μ jakauman meidän virheitä tarkalleen ja haluaisi arvioida keskihajonta σ., Voimme nähdä läpi hieman laskelma, että:
Tässä E on odotusarvo, ja Var(…) on varianssi. Emme voi korvata keskiarvo odotukset E kolmannella rivillä E neljännellä rivillä, jossa ε on muuttuja, jolla on sama jakauma kuin jokainen eᵢ, koska virheitä eᵢ ovat identtisesti jakautunut, ja näin ollen niiden neliöt kaikilla on sama odotusarvo.
muista, että oletimme jo tietävämme μ tarkalleen., Toisin sanoen, jatkuva bias meidän välineitä on tunnettu bias, eikä tuntematon bias. Joten voimme yhtä hyvin korjata tämän puolueellisuuden heti alkuun vähentämällä μ kaikista raaoista havainnoistamme. Eli voisimme yhtä hyvin olettaa, että virheemme jaetaan jo keskiarvolla μ = 0. Kytkemällä tähän yhtälöön yllä ja ottaa neliöjuurta molemmin puolin, niin saadaan:
Huomaa, että vasen puoli näyttää tutulta!, Jos poistimme odotuksen e sisältä neliöjuuri, se on täsmälleen meidän kaava RMSE muodossa ennen. Keski-raja-lause kertoo meille, että n saa suurempia, varianssi määrä Σᵢ (ŷᵢ — yᵢ)2 / n = Σᵢ (eᵢ)2 / n pitäisi lähentyä nollaa. Itse asiassa terävämpi muoto keski-raja-lause kerro meille, sen varianssi pitäisi lähentyä 0 asymptoottisesti kuten 1/n. Tämä kertoo, että Σᵢ (ŷᵢ — yᵢ)2 / n on hyvä estimaattori E = σ2. Mutta sitten RMSE on hyvä estimaattori standardipoikkeama σ jakauman virheitä!,
– Meidän tulee myös katsoa selitys jako n nojalla square root RMSE: se antaa meille mahdollisuuden arvioida keskihajonta σ virhe tyypillinen yksittäinen havainto pikemminkin kuin jonkinlainen ”total error”. Jakamalla n, pidämme tämän virheen mitta johdonmukainen, kun siirrymme pieni kokoelma havaintoja suurempi kokoelma (se vain tarkentuu, kun lisäämme havaintojen). Rmse on hyvä tapa vastata kysymykseen: ”Kuinka kaukana meidän pitäisi odottaa mallimme olevan seuraavassa ennusteessaan?,”
yhteenvetona meidän keskustelun, RMSE on hyvä mittari, jos halutaan arvioida keskihajonta σ tyypillinen havaittu arvo meidän malli on ennuste, jos oletetaan, että havaittu data voidaan jakaa seuraavasti:
Satunnainen kohina voi olla mitään, että meidän malli ei vangita (esim., tuntemattomia muuttujia, jotka saattavat vaikuttaa havaitut arvot)., Jos melu on pieni, kuten on arvioitu RMSE, tämä yleensä tarkoittaa, että malli on hyvä ennustamaan meidän havaittu tiedot, ja jos RMSE on suuri, tämä yleensä tarkoittaa, että malli ei ota huomioon tärkeitä ominaisuuksia, taustalla olevat tiedot.
RMSE Data Science: Vivahteet Käyttäen RMSE
data science, RMSE on kaksi tarkoitusta:
- palvelemaan heuristinen koulutus-mallit
- arvioida koulutettu mallien hyödyllisyyttä / tarkkuus
Tämä herättää tärkeän kysymyksen: Mitä se tarkoittaa, RMSE on ”pieni”?,
– Meidän pitäisi huomata ensinnäkin, että ”pieni” riippuu meidän valinta yksikköä, ja erityinen sovellus, toivomme. 100 tuumaa on iso virhe rakennussuunnittelussa, mutta 100 nanometriä ei. Toisaalta, 100 nanometriä on pieni virhe fabricating ice cube lokero, mutta ehkä iso virhe fabricating integroitu piiri.
koulutusta mallit, se ei ole oikeastaan väliä, mitä yksikköä käytetään, koska kaikki me välitämme koulutuksen aikana on heuristinen auttaa meitä vähentämään virheen jokaisen iteraation., Välitämme vain virheen suhteellisesta koosta askeleesta toiseen, emme virheen absoluuttisesta koosta.
Mutta arvioitaessa koulutettu mallien tietoja tieteen hyödyllisyyttä / tarkkuus , me välitämme yksikköä, koska emme ole vain yrittää nähdä, jos teemme parempi kuin viimeksi: me haluamme tietää, jos meidän malli voi itse asiassa auttaa meitä ratkaisemaan käytännön ongelma. Hienovaraisuus tässä on, että sen arvioiminen, onko RMSE riittävän pieni vai ei, riippuu siitä, kuinka tarkka me tarvitsemme mallimme olevan annettua hakemusta varten., Tälle ei tule koskaan olemaan matemaattista kaavaa, koska se riippuu esimerkiksi ihmisen aikeista (”mitä aiot tehdä tällä mallilla?”), riskinveto (”kuinka paljon vahinkoa aiheutuisi, jos tämä malli tekisi huonon ennusteen?”), jne.
Lisäksi yksiköt, on toinen näkökohta myös: ”pieni” on myös mitattava suhteessa tyyppi malli käytössä, tietojen määrä pisteitä, ja historia koulutus malli meni läpi, ennen kuin voit arvioida sen tarkkuutta., Aluksi tämä voi kuulostaa vastavaikuttavalta, mutta ei silloin, kun muistaa ylisovittelun ongelman.
ylisovitusriski on aina, kun mallin parametrien määrä on suuri suhteessa datapisteiden määrään. Esimerkiksi, jos yritämme ennustaa yksi todellinen määrä y funktiona toinen todellinen määrä x, ja meidän havainnot ovat (xᵢ, yᵢ) kanssa x₁ < x₂ < x₃ … , yleinen interpolointi lause kertoo meille, siellä on joitakin polynomi f(x) aste on korkeintaan n+1 f(xᵢ) = yᵢ i = 1, … , n., Tämä tarkoittaa, jos valitsimme mallimme olevan asteen n + 1 polynomi, säätämällä parametrit mallimme (kertoimet polynomi), voisimme tuoda RMSE aina alas 0. Tämä pitää paikkansa riippumatta siitä, mitkä y-arvomme ovat. Tässä tapauksessa RMSE ei oikeastaan kerro mitään siitä tarkkuudesta meidän taustalla malli: olimme taatusti voi nipistää parametrit saada RMSE = 0, kun mitattu mitattu nykyisten tietojen pistettä riippumatta siitä, onko suhde kahden todellisia määriä ollenkaan.,
Mutta se ei ole vain silloin, kun parametrien määrä ylittää tietojen määrä pistettä, että saatamme törmätä ongelmiin. Vaikka meillä ei ole järjettömän liiallista määrä parametreja, se voi olla, että yleinen matemaattinen periaatteet yhdessä lievä taustaoletukset meidän tietojen taata meille suuri todennäköisyys, että säätämistä parametrit meidän malli, voimme tuoda RMSE alle tietyn rajan. Jos olemme tällaisessa tilanteessa, niin RMSE on tämän kynnyksen alapuolella, ei välttämättä sano mitään merkityksellistä mallimme ennustevoimasta.,
jos haluaisimme ajatella kuin tilastotieteilijä, kysymys, jota haluaisimme kysyä, ei ole ” onko koulutetun mallimme RMSE pieni?”mutta pikemminkin,” mikä on todennäköisyys RMSE meidän koulutettu malli tällaisen-ja-tällainen joukko havaintoja olisi näin pieni sattumanvaraisesti?”
tällaisia kysymyksiä saada hieman monimutkainen (sinun todella täytyy tehdä, tilastot), mutta toivottavasti y ’ all saada kuva siitä, miksi ei ole ennalta määrätty kynnysarvo ”tarpeeksi pieni RMSE”, niin helppoa kuin että tekisi elämästämme.
