正規方程式（最小二乗法）を導出してみる

最小二乗法でポイントなる正規方程式の導出を残しておきます。すぐ忘れてしまうので。。。

前提として、

• $n$はサンプル数。
• $d$は特徴量ベクトルの次元数。
• $\overrightarrow{y}$はターゲットで$(n\times 1)$のベクトル。
• $\overrightarrow{\tilde{X}}$は特徴量で$(n\times d)$の行列。
• $\overrightarrow{w}$はパラメータで$(d\times 1)$のベクトル。

です。

最小二乗法では、関数とターゲットとの差の二乗の和を最小化したいため、その値を$E(\overrightarrow{w})$とします。

$$\begin{array}{}\text{(1)}& E(\overrightarrow{w})& =& |\overrightarrow{y}-\overrightarrow{\tilde{X}}\overrightarrow{w}{|}^2\text{(2)}& & =& (\overrightarrow{y}-\overrightarrow{\tilde{X}}\overrightarrow{w}{)}^T(\overrightarrow{y}-\overrightarrow{\tilde{X}}\overrightarrow{w})\text{(3)}& & =& \overrightarrow{y^T}\overrightarrow{y}-\overrightarrow{y^T}\overrightarrow{\tilde{X}}\overrightarrow{w}-\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{y}+\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}\overrightarrow{w}\text{(4)}& & =& \overrightarrow{y^T}\overrightarrow{y}-(\overrightarrow{y^T}\overrightarrow{\tilde{X}}\overrightarrow{w}{)}^T-\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{y}+\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}\overrightarrow{w}\text{(5)}& & =& \overrightarrow{y^T}\overrightarrow{y}-\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{y}-\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{y}+\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}\overrightarrow{w}\text{(6)}& & =& \overrightarrow{y^T}\overrightarrow{y}-2\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{y}+\overrightarrow{w^T}\overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}\overrightarrow{w}\end{array}$$

$(1)$から$(2)$においては、$\Vert A{\Vert }^2=A^{T}A$を利用しています。

$(2)$から$(3)$、$(4)$から$(5)$においては、$(AB{)}^T=B^T{A}^T$を利用しています。

$(3)$から$(4)$においては、「$\overrightarrow{y^T}\overrightarrow{\tilde{X}}\overrightarrow{w}$がスカラーである」ことから$A=A^T$を利用しています。なぜ「$\overrightarrow{y^T}\overrightarrow{\tilde{X}}\overrightarrow{w}$がスカラーである」かというと、この計算結果の行数、列数を考えれば自明となります。$\overrightarrow{y^T}$は$(1\times n)$のベクトル、$\overrightarrow{\tilde{X}}$は$(n\times d)$の行列、$\overrightarrow{w}$は$(d\times 1)$のベクトルであり、三者の積は$(1\times 1)$の行列、即ちスカラーとなります。

$E(\overrightarrow{w})$を最小化する$\overrightarrow{w}$を求めるため、$E(\overrightarrow{w})$の勾配を考えます。

$$\mathrm{\nabla }E(\overrightarrow{w})=-2\overrightarrow{\widetilde{X^T}}\overrightarrow{y}+2\overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}\overrightarrow{w}$$

ここでは、$\mathrm{\nabla }{x}^{T}Ax=2Ax$を利用しています。

$\mathrm{\nabla }E(\overrightarrow{w})=0$となる$w$を計算すると、

$$\begin{array}{rcl}-2\overrightarrow{\widetilde{X^T}}\overrightarrow{y}+2\overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}\overrightarrow{w}& =& 0\\ 2\overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}\overrightarrow{w}& =& 2\overrightarrow{\widetilde{X^T}}\overrightarrow{y}\\ \overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}\overrightarrow{w}& =& \overrightarrow{\widetilde{X^T}}\overrightarrow{y}\\ \overrightarrow{w}& =& (\overrightarrow{\widetilde{X^T}}\overrightarrow{\tilde{X}}{)}^{-1}\overrightarrow{\widetilde{X^T}}\overrightarrow{y}\end{array}$$

計算された式は一般的に「正規方程式」と呼ばれています。