第6講各種データ解析法

判別分析

フィッシャー線形判別

2 つの母集団があり，あるサンプルがどちらの母集団に属するのかを線形判別により推測することを考える．線形判別は，各群のデータが正規分布に従い，分散共分散行列が等しいことを仮定している．

観測値 $\bm{x}$ は， $N(\bm{\mu}^{(1)}, \varSigma)$ または $N(\bm{\mu}^{(2)}, \varSigma)$ に従っているとする．

x = (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{p} \end{matrix}) \sim N (μ^{(k)}, Σ) (k = 1, 2)

$\begin{equation} \bm{x} = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_p \end{pmatrix}~\sim~N(\bm{\mu}^{(k)}, \varSigma)~~~~(k = 1, 2) \end{equation}$

μ^{(k)} = (\begin{matrix} μ_{1}^{(k)} \\ μ_{2}^{(k)} \\ ⋮ \\ μ_{p}^{(k)} \end{matrix})

$\begin{equation} \bm{\mu}^{(k)} = \begin{pmatrix} \mu^{(k)}_1 \\ \mu^{(k)}_2 \\ \vdots \\ \mu^{(k)}_p \end{pmatrix} \end{equation}$

Σ = (\begin{matrix} σ_{11} & σ_{12} & \dots & σ_{1 p} \\ σ_{12} & σ_{22} & \dots & σ_{2 p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ σ_{1 p} & σ_{2 p} & \dots & σ_{p p} \end{matrix})

$\begin{equation} \varSigma = \begin{pmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1p} \\ \sigma_{12} & \sigma_{22} & \cdots & \sigma_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{1p} & \sigma_{2p} & \cdots & \sigma_{pp} \\ \end{pmatrix} \end{equation}$

マハラノビスの距離の 2 乗は，

\begin{aligned} {(D^{(k)})}^{2} & = (x - μ^{(k)})^{'} Σ^{- 1} (x - μ^{(k)}) \\ = \sum_{i = 1}^{p} \sum_{j = 1}^{p} (x_{i} - μ_{i}^{(k)}) (x_{j} - μ_{j}^{(k)}) σ^{i j} \end{aligned}

$\begin{align} \left(D^{(k)}\right)^2 &= (\bm{x} - \bm{\mu}^{(k)})' \varSigma^{-1} (\bm{x} - \bm{\mu}^{(k)}) \\ &= \sum_{i=1}^{p}\sum_{j=1}^{p}(x_i - \mu^{(k)}_i)(x_j - \mu^{(k)}_j) \sigma^{ij} \end{align}$

\begin{aligned} {(D^{(2)})}^{2} - {(D^{(1)})}^{2} & = (x - μ^{(2)})^{'} Σ^{- 1} (x - μ^{(2)}) - (x - μ^{(1)})^{'} Σ^{- 1} (x - μ^{(1)}) \\ = (x^{'} - {μ^{(2)}}^{'}) (Σ^{- 1} x - Σ^{- 1} μ^{(2)}) - (x^{'} - {μ^{(1)}}^{'}) (Σ^{- 1} x - Σ^{- 1} μ^{(1)}) \\ = (x^{'} Σ^{- 1} x - x^{'} Σ^{- 1} μ^{(2)} - {μ^{(2)}}^{'} Σ^{- 1} x + {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)}) - (x^{'} Σ^{- 1} x - x^{'} Σ^{- 1} μ^{(1)} - {μ^{(1)}}^{'} Σ^{- 1} x + {μ^{(1)}}^{'} Σ^{- 1} μ^{(1)}) \\ = (- x^{'} Σ^{- 1} μ^{(2)} - {μ^{(2)}}^{'} Σ^{- 1} x + {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)}) - (- x^{'} Σ^{- 1} μ^{(1)} - {μ^{(1)}}^{'} Σ^{- 1} x + {μ^{(1)}}^{'} Σ^{- 1} μ^{(1)}) \\ = - x^{'} Σ^{- 1} μ^{(2)} - {μ^{(2)}}^{'} Σ^{- 1} x + {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)} + x^{'} Σ^{- 1} μ^{(1)} + {μ^{(1)}}^{'} Σ^{- 1} x - {μ^{(1)}}^{'} Σ^{- 1} μ^{(1)} \\ = x^{'} Σ^{- 1} μ^{(1)} - x^{'} Σ^{- 1} μ^{(2)} + {μ^{(1)}}^{'} Σ^{- 1} x - {μ^{(2)}}^{'} Σ^{- 1} x - {μ^{(1)}}^{'} Σ^{- 1} μ^{(1)} + {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)} \\ = x^{'} Σ^{- 1} (μ^{(1)} - μ^{(2)}) + ({μ^{(1)}}^{'} - {μ^{(2)}}^{'}) Σ^{- 1} x - {μ^{(1)}}^{'} Σ^{- 1} μ^{(1)} + {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)} \\ = {((μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x)}^{'} + (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x - {μ^{(1)}}^{'} Σ^{- 1} μ^{(1)} + {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)} \\ = 2 (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x - {μ^{(1)}}^{'} Σ^{- 1} μ^{(1)} + {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)} \\ = 2 (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x - {μ^{(1)}}^{'} Σ^{- 1} μ^{(1)} + {μ^{(2)}}^{'} Σ^{- 1} μ^{(1)} - {μ^{(2)}}^{'} Σ^{- 1} μ^{(1)} + {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)} \\ = 2 (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x - ({μ^{(1)}}^{'} Σ^{- 1} μ^{(1)} - {μ^{(2)}}^{'} Σ^{- 1} μ^{(1)}) - ({μ^{(2)}}^{'} Σ^{- 1} μ^{(1)} - {μ^{(2)}}^{'} Σ^{- 1} μ^{(2)}) \\ = 2 (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x - ({μ^{(1)}}^{'} - μ^{(2)})^{'} Σ^{- 1} μ^{(1)} - {μ^{(2)}}^{'} Σ^{- 1} (μ^{(1)} - μ^{(2)}) \\ = 2 (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x - (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} μ^{(1)} - {((μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} μ^{(2)})}^{'} \\ = 2 (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x - (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} μ^{(1)} - (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} μ^{(2)} \\ = 2 (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} x - (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (μ^{(1)} + μ^{(2)}) \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (2 x - (μ^{(1)} + μ^{(2)})) \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (2 x - 2 \bar{μ}) \\ = 2 (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (x - \bar{μ}) \end{aligned}

$\begin{align} \left(D^{(2)}\right)^2 - \left(D^{(1)}\right)^2 &= (\bm{x} - \bm{\mu}^{(2)})' \varSigma^{-1} (\bm{x} - \bm{\mu}^{(2)}) - (\bm{x} - \bm{\mu}^{(1)})' \varSigma^{-1} (\bm{x} - \bm{\mu}^{(1)}) \\ &= (\bm{x}' - {\bm{\mu}^{(2)}}')(\varSigma^{-1}\bm{x} - \varSigma^{-1}\bm{\mu}^{(2)}) - (\bm{x}' - {\bm{\mu}^{(1)}}')(\varSigma^{-1}\bm{x} - \varSigma^{-1}\bm{\mu}^{(1)}) \\ &= \left(\bm{x}'\varSigma^{-1}\bm{x} - \bm{x}'\varSigma^{-1}\bm{\mu}^{(2)} - {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{x} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)}\right) - \left(\bm{x}'\varSigma^{-1}\bm{x} - \bm{x}'\varSigma^{-1}\bm{\mu}^{(1)} - {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{x} + {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)}\right) \\ &= \left(- \bm{x}'\varSigma^{-1}\bm{\mu}^{(2)} - {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{x} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)}\right) - \left(- \bm{x}'\varSigma^{-1}\bm{\mu}^{(1)} - {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{x} + {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)}\right) \\ &= - \bm{x}'\varSigma^{-1}\bm{\mu}^{(2)} - {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{x} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)} + \bm{x}'\varSigma^{-1}\bm{\mu}^{(1)} + {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{x} - {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)} \\ &= \bm{x}'\varSigma^{-1}\bm{\mu}^{(1)} - \bm{x}'\varSigma^{-1}\bm{\mu}^{(2)} + {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{x} - {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{x} - {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)} \\ &= \bm{x}'\varSigma^{-1}(\bm{\mu}^{(1)} - \bm{\mu}^{(2)}) + ({\bm{\mu}^{(1)}}' - {\bm{\mu}^{(2)}}')\varSigma^{-1}\bm{x} - {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)} \\ &= \left(({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x}\right)' + ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x} - {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)} \\ &= 2 ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x} - {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)} \\ &= 2 ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x} - {\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(1)} - {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(1)} + {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)} \\ &= 2 ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x} - \left({\bm{\mu}^{(1)}}'\varSigma^{-1}\bm{\mu}^{(1)} - {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(1)}\right) - \left({\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(1)} - {\bm{\mu}^{(2)}}'\varSigma^{-1}\bm{\mu}^{(2)}\right) \\ &= 2 ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x} - ({\bm{\mu}^{(1)}}' - {\bm{\mu}^{(2)}})'\varSigma^{-1}\bm{\mu}^{(1)} - {\bm{\mu}^{(2)}}'\varSigma^{-1}(\bm{\mu}^{(1)} - \bm{\mu}^{(2)}) \\ &= 2 ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x} - (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{\mu}^{(1)} - \left((\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{\mu}^{(2)}\right)' \\ &= 2 ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x} - (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{\mu}^{(1)} - (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{\mu}^{(2)} \\ &= 2 ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\bm{x} - (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}(\bm{\mu}^{(1)} + \bm{\mu}^{(2)}) \\ &= ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\left(2\bm{x} - (\bm{\mu}^{(1)} + \bm{\mu}^{(2)})\right) \\ &= ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\left(2\bm{x} - 2\bar{\bm{\mu}}\right) \\ &= 2({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}\left(\bm{x} - \bar{\bm{\mu}}\right) \\ \end{align}$

ただし，

\bar{μ} = \frac{μ^{(1)} + μ^{(2)}}{2}

$\begin{equation} \bar{\bm{\mu}} = \frac{\bm{\mu}^{(1)} + \bm{\mu}^{(2)}}{2} \end{equation}$

ここで，線形判別関数

z

$z$ を

z = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (x - \bar{μ})

$\begin{equation} z = ({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)})'\varSigma^{-1}(\bm{x} - \bar{\bm{\mu}}) \end{equation}$

と定義すると，次のように判別すればよい．

$z \ge 0~\Longleftrightarrow~\left(D^{(2)}\right)^2 \ge \left(D^{(1)}\right)^2~\Longleftrightarrow~$ 母集団 [1] に属する
$z < 0~\Longleftrightarrow~\left(D^{(2)}\right)^2 < \left(D^{(1)}\right)^2~\Longleftrightarrow~$ 母集団 [2] に属する

$z$ の分布を考える． $\bm{x} \sim N(\bm{\mu}^{(1)}, \varSigma)$ の下では，

\begin{aligned} E [z] & = E [(μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (x - \bar{μ})] \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} E [(x - \bar{μ})] \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (μ^{(1)} - \bar{μ}) \\ = \frac{1}{2} (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (μ^{(1)} - μ^{(2)}) \end{aligned}

$\begin{align} E[z] &= E\left[(\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}(\bm{x} - \bar{\bm{\mu}})\right] \\ &= (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1} E\left[(\bm{x} - \bar{\bm{\mu}})\right] \\ &= (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}(\bm{\mu}^{(1)} - \bar{\bm{\mu}}) \\ &= \frac{1}{2}(\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}({\bm{\mu}^{(1)}} - \bm{\mu}^{(2)}) \\ \end{align}$

\begin{aligned} V [z] & = V [(μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (x - \bar{μ})] \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} V [(x - \bar{μ})] {((μ^{(1)} - μ^{(2)})^{'} Σ^{- 1})}^{'} \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} V [(x - \bar{μ})] Σ^{- 1} (μ^{(1)} - μ^{(2)}) \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} V [x] Σ^{- 1} (μ^{(1)} - μ^{(2)}) \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} Σ Σ^{- 1} (μ^{(1)} - μ^{(2)}) \\ = (μ^{(1)} - μ^{(2)})^{'} Σ^{- 1} (μ^{(1)} - μ^{(2)}) \end{aligned}

$\begin{align} V[z] &= V\left[(\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}(\bm{x} - \bar{\bm{\mu}})\right] \\ &= (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1} V\left[(\bm{x} - \bar{\bm{\mu}})\right] \left((\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1}\right)' \\ &= (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1} V\left[(\bm{x} - \bar{\bm{\mu}})\right]\varSigma^{-1}(\bm{\mu}^{(1)} - \bm{\mu}^{(2)}) \\ &= (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1} V\left[\bm{x}\right]\varSigma^{-1}(\bm{\mu}^{(1)} - \bm{\mu}^{(2)}) \\ &= (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})'\varSigma^{-1} \varSigma \varSigma^{-1}(\bm{\mu}^{(1)} - \bm{\mu}^{(2)}) \\ &= (\bm{\mu}^{(1)} - \bm{\mu}^{(2)})' \varSigma^{-1}(\bm{\mu}^{(1)} - \bm{\mu}^{(2)}) \\ \end{align}$

よって，

δ = μ^{(1)} - μ^{(2)}

$\delta = \bm{\mu}^{(1)} - \bm{\mu}^{(2)}$ とおいて，

z \sim N (\frac{1}{2} δ^{'} Σ^{- 1} δ, δ^{'} Σ^{- 1} δ)

$\begin{equation} z \sim N\left(\frac{1}{2}\bm{\delta}'\varSigma^{-1}\bm{\delta},~\bm{\delta}' \varSigma^{-1}\bm{\delta}\right) \end{equation}$

母集団 [1] に属するサンプルなのに，母集団 [2] に属すると誤判別される確率は，

P (z < 0)

$P(z < 0)$ を計算すればよい．逆に，母集団 [2] に属するサンプルなのに，母集団 [1] に属すると誤判別される確率は，

z \sim N (- \frac{1}{2} δ^{'} Σ^{- 1} δ, δ^{'} Σ^{- 1} δ)

$\begin{equation} z \sim N\left(-\frac{1}{2}\bm{\delta}'\varSigma^{-1}\bm{\delta},~\bm{\delta}' \varSigma^{-1}\bm{\delta}\right) \end{equation}$

であることを利用して，

P (z \geq 0)

$P(z \ge 0)$ を計算すればよい．

第6講 各種データ解析法

判別分析

フィッシャー線形判別

第6講各種データ解析法