第6講各種データ解析法

主成分分析

主成分

次の観測値が得られたとする．

x_{i} = (\begin{matrix} x_{i 1} \\ x_{i 2} \\ ⋮ \\ x_{i p} \end{matrix}) (i = 1, 2, \dots, n)

$\begin{equation} \bm{x}_i = \begin{pmatrix} x_{i1} \\ x_{i2} \\ \vdots \\ x_{ip} \end{pmatrix}~~~~(i = 1, 2, \ldots, n) \end{equation}$

この観測値に対して主成分分析を行ってみる．

この観測値を標準化したものを

u_{i} = (\begin{matrix} u_{i 1} \\ u_{i 2} \\ ⋮ \\ u_{i p} \end{matrix}) (i = 1, 2, \dots, n)

$\begin{equation} \bm{u}_i = \begin{pmatrix} u_{i1} \\ u_{i2} \\ \vdots \\ u_{ip} \end{pmatrix}~~~~(i = 1, 2, \ldots, n) \end{equation}$

とする．このとき，分散は，

\frac{1}{n - 1} \sum_{i = 1}^{n} (u_{i j} - {\bar{u}}_{i})^{2} = 1 (j = 1, 2, \dots, p)

$\begin{equation} \frac{1}{n-1}\sum_{i=1}^{n}(u_{ij} - \bar{u}_i)^2 = 1~~~~(j = 1, 2, \ldots, p) \end{equation}$

これより，

\sum_{i = 1}^{n} {u_{i j}}^{2} = n - 1 (j = 1, 2, \dots, p)

$\begin{equation} \sum_{i=1}^{n}{u_{ij}}^2 = n - 1~~~~(j = 1, 2, \ldots, p) \end{equation}$

また，相関係数は，

r_{x_{j} x_{k}} = \frac{\frac{1}{n - 1} \sum_{i = 1}^{n} (u_{i j} - {\bar{u}}_{j}) (u_{i k} - {\bar{u}}_{k})}{\sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (u_{i j} - {\bar{u}}_{j})^{2}} \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (u_{i k} - {\bar{u}}_{k})^{2}}}

$\begin{equation} r_{x_j x_k} = \frac{\ds \frac{1}{n-1}\sum_{i=1}^{n}(u_{ij} - \bar{u}_j)(u_{ik} - \bar{u}_k)}{\ds\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(u_{ij} - \bar{u}_j)^2}\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(u_{ik} - \bar{u}_k)^2}} \end{equation}$

これより，

r_{x_{j} x_{k}} = \frac{\frac{1}{n - 1} \sum_{i = 1}^{n} u_{i j} u_{i k}}{\sqrt{1} \sqrt{1}}

$\begin{equation} r_{x_j x_k} = \frac{\ds \frac{1}{n-1}\sum_{i=1}^{n} u_{ij} u_{ik}}{\ds\sqrt{1}\sqrt{1}} \end{equation}$

⟺ \sum_{i = 1}^{n} u_{i j} u_{i k} = (n - 1) r_{x_{j} x_{k}}

$\begin{equation} \Longleftrightarrow~\sum_{i=1}^{n} u_{ij} u_{ik} = (n - 1)r_{x_j x_k} \end{equation}$

第 1 主成分を次のように定義する．

z_{i 1} = a_{1} u_{i 1} + a_{2} u_{i 2} + \dots + a_{p} u_{i p}

$\begin{equation} z_{i1} = a_1 u_{i1} + a_2 u_{i2} + \cdots + a_p u_{ip} \end{equation}$

ここで，

a = (\begin{matrix} a_{1} \\ a_{2} \\ ⋮ \\ a_{p} \end{matrix})

$\begin{equation} \bm{a} = \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_p \end{pmatrix} \end{equation}$

とおくと，

z_{i 1} = a^{'} u_{i} = u_{i}^{'} a

$\begin{equation} z_{i1} = \bm{a}'\bm{u}_i = \bm{u}_i'\bm{a} \end{equation}$

z_{i 1} (i = 1, 2, \dots, n)

$z_{i1}~(i = 1, 2, \ldots, n)$ の分散は，

\begin{aligned} V_{z_{1}} & = \frac{1}{n - 1} \sum_{i = 1}^{n} {z_{i 1}}^{2} \\ = \frac{1}{n - 1} \sum_{i = 1}^{n} (a^{'} u_{i}) (u_{i}^{'} a) \\ = a^{'} (\frac{1}{n - 1} \sum_{i = 1}^{n} u_{i} u_{i}^{'}) a \\ = a^{'} R a \end{aligned}

$\begin{align} V_{z_1} &= \frac{1}{n-1}\sum_{i=1}^{n}{z_{i1}}^2 \\ &= \frac{1}{n-1}\sum_{i=1}^{n}(\bm{a}'\bm{u}_i)(\bm{u}_i'\bm{a}) \\ &= \bm{a}'\left(\frac{1}{n-1}\sum_{i=1}^{n}\bm{u}_i \bm{u}_i'\right)\bm{a} \\ &= \bm{a}' R \bm{a} \\ \end{align}$

ただし，

R

$R$ は相関係数行列である．また，分散を最大化するような

a

$\bm{a}$ を求めるが，次の制約条件を設ける．

a^{'} a = 1

$\begin{equation} \bm{a}'\bm{a} = 1 \end{equation}$

ラグランジュの未定乗数法を用いると，

L (a, λ) = a^{'} R a - λ (a^{'} a - 1)

$\begin{equation} L(\bm{a}, \lambda) = \bm{a}' R \bm{a} - \lambda(\bm{a}'\bm{a} - 1) \end{equation}$

a

$\bm{a}$ で微分して

0

$\bm{0}$ とおくと，

\frac{\partial}{\partial a} L (a, λ) = 2 R a - 2 λ a = 0

$\begin{equation} \frac{\partial}{\partial \bm{a}}L(\bm{a}, \lambda) = 2 R \bm{a} - 2 \lambda \bm{a} = \bm{0} \end{equation}$

よって，

R a = λ a

$\begin{equation} R \bm{a} = \lambda \bm{a} \end{equation}$

左から

a^{'}

$\bm{a}'$ をかけると，

a^{'} R a = λ a^{'} a ⟺ V_{z_{1}} = λ

$\begin{equation} \bm{a}' R \bm{a} = \lambda \bm{a}'\bm{a}~~\Longleftrightarrow~~V_{z_1} = \lambda \end{equation}$

よって，分散の最大値は

λ

$\lambda$ となる．固有値問題

R a = λ a

$R \bm{a} = \lambda \bm{a}$ を解いて，最大固有値

λ_{1}

$\lambda_1$ に対する固有ベクトルを求めれば，第 1 主成分の係数

a

$\bm{a}$ を求めることができる．

R a = λ_{1} a

$\begin{equation} R \bm{a} = \lambda_1 \bm{a} \end{equation}$

次に，第 2 主成分を求める．

z_{i 2} = b^{'} u_{i} = u_{i}^{'} b

$\begin{equation} z_{i2} = \bm{b}'\bm{u}_i = \bm{u}_i'\bm{b} \end{equation}$

b^{'} b = 1

$\begin{equation} \bm{b}'\bm{b} = 1 \end{equation}$

V_{z_{2}} = b^{'} R b

$\begin{equation} V_{z_2} = \bm{b}' R \bm{b} \end{equation}$

ここで，

z_{i 1}

$z_{i1}$ と

z_{i 2}

$z_{i2}$ が無相関であるという制約を設ける．

\sum_{i = 1}^{n} (z_{i 1} - {\bar{z}}_{1}) (z_{i 2} - {\bar{z}}_{2}) = 0

$\begin{equation} \sum_{i=1}^{n}(z_{i1} - \bar{z}_{1})(z_{i2} - \bar{z}_{2}) = 0 \end{equation}$

⟺ \sum_{i = 1}^{n} z_{i 1} z_{i 2} = 0

$\begin{equation} \Longleftrightarrow~~\sum_{i=1}^{n}z_{i1}z_{i2} = 0 \end{equation}$

⟺ \sum_{i = 1}^{n} (a^{'} u_{i}) (u_{i}^{'} b) = 0

$\begin{equation} \Longleftrightarrow~~\sum_{i=1}^{n}(\bm{a}'\bm{u}_i)(\bm{u}_i'\bm{b}) = 0 \end{equation}$

⟺ (n - 1) a^{'} (\frac{1}{n - 1} \sum_{i = 1}^{n} u_{i} u_{i}^{'}) b = 0

$\begin{equation} \Longleftrightarrow~~(n-1)\bm{a}'\left(\frac{1}{n-1}\sum_{i=1}^{n}\bm{u}_i \bm{u}_i'\right)\bm{b} = 0 \end{equation}$

⟺ (n - 1) a^{'} R b = 0

$\begin{equation} \Longleftrightarrow~~(n-1)\bm{a}' R \bm{b} = 0 \end{equation}$

⟺ (n - 1) λ_{1} a^{'} b = 0 (∵ (R a)^{'} = (λ_{1} a)^{'})

$\begin{equation} \Longleftrightarrow~~(n-1) \lambda_1 \bm{a}' \bm{b} = 0~~~~\left(\because~(R\bm{a})' = (\lambda_1 \bm{a})'\right) \end{equation}$

よって，無相関であるためには，

a^{'} R b = 0

$\begin{equation} \bm{a}' R \bm{b} = 0 \end{equation}$

a^{'} b = 0

$\begin{equation} \bm{a}' \bm{b} = 0 \end{equation}$

そこで，ラグランジュの未定乗数法を用いると，

L (b, λ, η) = b^{'} R b - λ (b^{'} b - 1) - η a^{'} b

$\begin{equation} L(\bm{b}, \lambda, \eta) = \bm{b}' R \bm{b} - \lambda(\bm{b}'\bm{b} - 1) - \eta \bm{a}'\bm{b} \end{equation}$

b

$\bm{b}$ で微分して

0

$\bm{0}$ とおくと，

\frac{\partial}{\partial b} L (a, λ) = 2 R b - 2 λ b - η a = 0

$\begin{equation} \frac{\partial}{\partial \bm{b}}L(\bm{a}, \lambda) = 2 R \bm{b} - 2 \lambda \bm{b} - \eta \bm{a} = \bm{0} \end{equation}$

左から

a^{'}

$\bm{a}'$ をかけると，

2 a^{'} R b - 2 λ a^{'} b - η a^{'} a = 0 \dots \dots (1)

$\begin{equation} 2 \bm{a}' R \bm{b} - 2 \lambda \bm{a}' \bm{b} - \eta \bm{a}' \bm{a} = \bm{0}~~\cdots\cdots (1) \end{equation}$

η a^{'} a = 0

$\begin{equation} \eta \bm{a}' \bm{a} = \bm{0} \end{equation}$

これより，

η = 0

$\begin{equation} \eta = 0 \end{equation}$

よって，(1) より

R b = λ b

$\begin{equation} R \bm{b} = \lambda \bm{b} \end{equation}$

左から

b^{'}

$\bm{b}'$ をかけると，

b^{'} R b = λ b^{'} b ⟺ V_{z_{2}} = λ

$\begin{equation} \bm{b}' R \bm{b} = \lambda \bm{b}'\bm{b}~~\Longleftrightarrow~~V_{z_2} = \lambda \end{equation}$

よって，分散の最大値は

λ

$\lambda$ となり，第 2 主成分の係数は，固有値問題

R a = λ a

$R \bm{a} = \lambda \bm{a}$ の第 2 固有値に対する固有ベクトルを求めればよいことになる．

第 3 主成分についても同様である．第 3 主成分 $z_3$ は， $z_1$ と $z_2$ に無相関になるように制約を設けて，同様にして第 3 主成分の係数を求めていけばよい．

寄与率

$R$ の固有値 $\lambda_j~(j = 1, 2, \ldots, p)$ の和は，

λ_{1} + λ_{2} + \dots + λ_{p} = t r R = 1

$\begin{equation} \lambda_1 + \lambda_2 + \cdots + \lambda_p = \mathrm{tr}\,R = 1 \end{equation}$

第

k

$k$ 主成分の寄与率は，

\frac{λ_{k}}{λ_{1} + λ_{2} + \dots + λ_{p}} = \frac{λ_{k}}{p}

$\begin{equation} \frac{\lambda_k}{\lambda_1 + \lambda_2 + \cdots + \lambda_p} = \frac{\lambda_k}{p} \end{equation}$

第

k

$k$ 主成分までの累積寄与率は，

\frac{λ_{1} + λ_{2} + \dots + λ_{k}}{λ_{1} + λ_{2} + \dots + λ_{p}} = \frac{λ_{1} + λ_{2} + \dots + λ_{k}}{p}

$\begin{equation} \frac{\lambda_1 + \lambda_2 + \cdots + \lambda_k}{\lambda_1 + \lambda_2 + \cdots + \lambda_p} = \frac{\lambda_1 + \lambda_2 + \cdots + \lambda_k}{p} \end{equation}$

第6講 各種データ解析法

主成分分析

主成分

寄与率

第6講各種データ解析法