Root Mean Square Error (RMSE) egy szabványos módszer a modell hibájának mérésére a mennyiségi adatok előrejelzésében. Hivatalosan ez határozza meg a következőképpen:
próbáljuk meg, hogy vizsgálja meg miért ezt az intézkedést a hiba értelme a matematikai szempontból., Figyelmen kívül hagyva az osztály n alatt a négyzetgyök, az első dolog, amit észre a hasonlóságot, hogy a képlet a Euklideszi távolság a két vektor a ℝⁿ:
Ez azt mondja, heuristically, hogy RMSE lehet úgy, mint valamiféle (normalizált) távolság a vektor a becsült értékek, valamint a vektor a megfigyelt értékek.
de miért osztjuk n-vel a négyzetgyök alatt?, Ha az N-t(a megfigyelések számát) rögzítjük, akkor csak az euklideszi távolságot számítjuk √(1/n) tényezővel. Ez egy kicsit trükkös, hogy miért ez a helyes dolog, úgyhogy ásni egy kicsit mélyebb.,
Képzeld el, hogy a megfigyelt értékek határozzák meg, hozzátéve random “hibát”, hogy minden, a becsült értékek a következők szerint:
Ezek a hibák, úgy, mint véletlen változó, lehet, hogy Gauss eloszlás jelenti, μ, valamint a szórás σ, de bármilyen más megoszlása a tér-integrable PDF (sűrűségfüggvényt) is működik., Azt akarjuk gondolni, ŷᵢ, mint egy mögöttes fizikai mennyiség, mint például a pontos távolság a Mars a nap egy adott időpontban. A megfigyelt yᵢ mennyiség akkor a Marstól a Napig terjedő távolság lenne, amikor mérjük, néhány hiba a teleszkópok téves kalibrálásából, valamint a légköri interferencia mérési zajából származik.,
A μ a megoszlása a hibák felelne meg a kitartó elfogultság jön a mis-kalibrálás, míg a szórás σ felelne meg az összeg a mérési zaj. Képzeljük el most, hogy pontosan tudjuk a hiba eloszlásának Közép μ-ját, és szeretnénk megbecsülni a σ szórást., Egy kis számításon keresztül láthatjuk, hogy:
itt e az elvárás, var(…) pedig a variancia. A harmadik sorban az e elvárások átlagát helyettesíthetjük az E-vel a negyedik sorban, ahol ε egy változó, amelynek eloszlása megegyezik az eᵢ mindegyikével, mivel az eᵢ hibák azonos eloszlásúak, így négyzeteik mindegyike azonos elvárással rendelkezik.
ne feledje, hogy azt feltételeztük, hogy már pontosan tudtuk μ., Vagyis eszközeinkben a tartós elfogultság ismert elfogultság, nem pedig ismeretlen elfogultság. Tehát akár ki is javíthatjuk ezt az elfogultságot, ha kivonjuk a μ-t az összes nyers megfigyelésünkből. Ez azt jelenti, hogy azt is feltételezhetjük, hogy a hibáinkat már elosztották a μ = 0 átlaggal. Dugulás ez az egyenlet a fenti, a négyzetgyök mindkét oldalt, akkor a hozamok:
Észre a bal oldalon ismerős!, Ha eltávolítottuk az e elvárást a négyzetgyök belsejéből,akkor pontosan ez az RMSE formulánk. A központi limit tétel azt mondja nekünk, hogy ahogy n nagyobb lesz, a Σᵢ (ŷᵢ — yᵢ)2 / n = σᵢ (eᵢ)2 / n mennyiség varianciájának nullára kell konvergálnia. Valójában a központi limit tétel élesebb formája azt mondja nekünk, hogy varianciájának 0-ra kell konvergálnia aszimptotikusan, mint 1 / n. ez azt mondja nekünk, hogy Σᵢ (ŷᵢ — yᵢ) 2 / n jó becslés az e = σ2 számára. De akkor az RMSE jó becslés a hibák eloszlásának σ szórására!,
kellene most is van magyarázata, hogy az osztály n alatt a négyzetgyök az RMSE: ez lehetővé teszi számunkra, hogy a becslés a szórás σ a hiba egy tipikus egyetlen megfigyelés helyett inkább valamiféle “összes hiba”. Az n-vel elosztva ezt a hibaméretet konzisztensnek tartjuk, amikor a megfigyelések kis gyűjteményéből egy nagyobb gyűjteménybe költözünk (csak pontosabbá válik, amikor növeljük a megfigyelések számát). Más módon megfogalmazva az RMSE jó módja annak, hogy válaszoljon a kérdésre: “milyen messze kell várnunk, hogy modellünk a következő előrejelzésen legyen?,”
összefoglalni a vita, RMSE egy jó intézkedés, hogy használja, ha azt szeretnénk, hogy a becslés a szórás σ egy tipikus megfigyelt érték a modell jóslata, feltéve, hogy a megfigyelt adatokat lehet felbontani, mint:
A véletlenszerű zaj itt bármi lehet, hogy a modell nem rögzíti (pl. ismeretlen változók, amelyek befolyásolhatják a megfigyelt értékek)., Ha a zaj kicsi, az RMSE becslése szerint ez általában azt jelenti, hogy modellünk jó a megfigyelt adatok előrejelzésében, és ha az RMSE nagy, ez általában azt jelenti, hogy modellünk nem veszi figyelembe az adataink alapjául szolgáló fontos jellemzőket.
RMSE Data Tudomány: Finomságok Segítségével RMSE
Az adatok tudomány, RMSE-nak kettős célja van:
- szolgálni, mint egy heurisztikus képzési modellek
- értékelni képzett modellek hasznosságát / pontosság
Ez felvet egy fontos kérdést: Mit jelent az RMSE, hogy “kicsi”?,
mindenekelőtt meg kell jegyeznünk, hogy a” kicsi ” az egységek választásától függ, valamint az adott alkalmazástól, amelyet remélünk. 100 hüvelyk nagy hiba az épület kialakításában, de 100 nanométer nem. Másrészt a 100 nanométer egy kis hiba a jégkocka tálca elkészítésében, de talán nagy hiba az integrált áramkör kialakításában.
képzési modelleknél nem igazán számít, hogy milyen egységeket használunk, mivel a képzés során csak egy heurisztikus van, amely segít csökkenteni a hibát minden iterációval., Csak a hiba relatív méretével foglalkozunk az egyik lépésről a másikra, nem pedig a hiba abszolút méretével.
de az adatok tudományában képzett modellek értékelésében a hasznosság / pontosság érdekében törődünk az egységekkel, mert nem csak azt próbáljuk megnézni, hogy jobban teljesítünk-e, mint legutóbb: tudni akarjuk, hogy modellünk valóban segíthet-e nekünk egy gyakorlati probléma megoldásában. A finomság itt az, hogy annak értékelése, hogy az RMSE elég kicsi-e vagy sem, attól függ, hogy mennyire pontosnak kell lennünk a modellünknek az adott alkalmazáshoz., Soha nem lesz matematikai képlet erre, mert ez olyan dolgoktól függ, mint az emberi szándékok (“mit akarsz csinálni ezzel a modellel?”), kockázatkerülés (“mennyi kárt okozna, ha ez a modell rossz előrejelzést adna?”), stb.
az egységek mellett van egy másik szempont is: a” kicsi ” értéket a használt modell típusától, az adatpontok számától, valamint a modell képzésének történetétől is meg kell mérni, mielőtt a pontosságot értékelte., Először ez ellentmondásosnak tűnhet, de nem akkor, ha emlékszel a túlzott felszerelés problémájára.
fennáll a túlzott illesztés veszélye, ha a modellben lévő paraméterek száma nagy a rendelkezésre álló adatpontok számához képest. Például, ha megpróbáljuk megjósolni, hogy egy igazi mennyiség y, mint egy funkció, egy másik igazi mennyiség x, valamint a megfigyelések (xᵢ, yᵢ) a x₁ < x₂ < x₃ … , általános interpoláció elmélete azt mondja, hogy van egy polinom f(x) mértéke legfeljebb n+1, f(xᵢ) = yᵢ a i = 1, … , n., Ez azt jelenti, hogy ha a modellünket N + 1 fokú polinomnak választottuk, a modell paramétereinek (a polinom együtthatóinak) megváltoztatásával képesek lennénk az RMSE-t egészen 0-ra csökkenteni. Ez igaz, függetlenül attól, hogy mi az y értékeink. Ebben az esetben az RMSE nem igazán mond semmit az alapul szolgáló modellünk pontosságáról: garantáltan képesek voltunk módosítani a paramétereket, hogy RMSE = 0-t kapjunk a meglévő adatpontokon mérve, függetlenül attól, hogy van-e kapcsolat a két valós mennyiség között.,
de nem csak akkor, ha a paraméterek száma meghaladja az adatpontok számát, akkor problémák merülhetnek fel. Még akkor is, ha nincs abszurdan túlzott mennyiségű paraméterünk, előfordulhat, hogy az általános matematikai elvek az adatainkra vonatkozó enyhe háttér-feltételezésekkel együtt nagy valószínűséggel garantálják számunkra, hogy modellünk paramétereinek módosításával az RMSE-t egy bizonyos küszöb alá tudjuk hozni. Ha ilyen helyzetben vagyunk, akkor az RMSE e küszöb alatt nem mondhat semmi értelmeset modellünk prediktív erejéről.,
ha statisztikusként akartunk gondolkodni, akkor a kérdés, amelyet feltennénk, nem ” kicsi a képzett modellünk RMSE?”de inkább,” mi a valószínűsége annak, hogy az RMSE a képzett modell az ilyen-ilyen megfigyelések lenne ez a kis véletlen?”
Az ilyen típusú kérdések egy kicsit bonyolultak (valójában statisztikákat kell tennie), de remélhetőleg mindenki megkapja a képet arról, hogy miért nincs előre meghatározott küszöb a “elég kicsi RMSE” számára, olyan egyszerű, mint ami életünket tenné.
