Welcome to Our Website

単純な線形回帰のためのOLS法の理解

線形回帰は、教師あり機械学習タスクで採用されているアルゴリズムのファミリーです(教師あり学習の詳細については、私の以前の記事を読むことができますこちら)。 この監MLのタスクを正常に分かれて分類と回帰しcollocate線形回帰アルゴリズムます。, 分類では、ターゲットはカテゴリカル値(’yes/no’、’red/blue/green’、’spam/not spam’…)ですが、一方、回帰は数値で連続した値をターゲットとして含むため、アルゴリズムはクラスやカテゴリではなく連続した数を予測するように求められます。 つまり、いくつかの相対的な特徴に基づいて家の価格を予測したいと想像してください:モデルの出力は価格になり、したがって連続数になります。,

回帰タスクは、ターゲットを予測するために一つの特徴のみを使用するものと、その目的のために複数の特徴を使用するものに分けることができ 例を挙げると、上記の家のタスクを考えてみましょう:あなたはその平方メートルに基づいてその価格を予測したい場合は、最初の状況(一つの特徴)に分類されます。,

最初のシナリオでは、採用する可能性のあるアルゴリズムは単純な線形回帰になります。 一方、ターゲット変数を説明できる複数の機能に直面しているときはいつでも、重線形回帰を使用する可能性があります。,P>

ここで、eiは誤差項であり、α、βは回帰の真の(ただし観測されていない)パラメータです。, すなわち、私のパラメータが0.75に等しい場合、私のxが1だけ増加すると、私の従属変数は0.75だけ増加します。 一方,パラメータαは,独立変数がゼロに等しいときの従属変数の値を表す。,

グラフィカルに視覚化してみましょう。

さて、単純な線形回帰のアイデアは、誤差項が最小化されるパラメータαとβを見つけることです。 より正確に言えば、モデルは二乗誤差を最小限に抑えます:実際、正の誤差は負の誤差によって補償されることを望んでいません。,

This procedure is called Ordinary Least Squared error — OLS.

Let’s demonstrate those optimization problems step by step.,r α:

一度αとβの値を取得しました。二乗誤差を最小限に抑えると、モデルの方程式は次のようになります。

要約すると、olsをモデルからデータポイントにできるだけ近い”直線”を取得する戦略と考えることができます。, OLSは唯一の最適化戦略ではありませんが、回帰の出力(つまり係数)はアルファとベータの実数値の不偏推定量であるため、この種のタスクで最も一般的 実際、ガウス-マルコフの定理によれば、線形回帰モデルのいくつかの仮定(パラメータの線形性、観測値のランダムサンプリング、ゼロに等しい条件付き平均、多重共線性の欠如、誤差のホモスキーダスティシティ)の下で、OLS推定量αとβはαとβの実数値の最良の線形不偏推定量(青色)である。,

このトピックが興味深く、これまでに読んできたもののpythonで実用的なアプリケーションを見たい場合は、ここで私の記事を読むことができます。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です