本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
マハラノビス距離とユークリッド距離の関係
いくつかの$D$次元ベクトルで構成される集合を$A$とする。いま，あるベクトル$\vx\in\mR^{D}$の集合$A$に対するマハラノビス距離の平方根$D$とユークリッド距離の平方根$E$を考える。
D &= \sqrt{(\vx-\vmu)^{T}\Sigma^{-1}(\vx-\vmu)},\quad E=\sqrt{\|\vx-\vmu\|^{2}}
\end{align}
ただし，$\vmu\in\mR^{D}$は集合$A$に属する$D$次元ベクトルの平均ベクトル，$\Sigma\in\mR^{D\times D}$は分散共分散行列を表す。$\vx$が標準化され，かつ$\Sigma$が分散行分散行列が対角行列である場合，マハラノビス距離$D$とユークリッド距離$E$は等価になる。
分散共分散行列の定義より，分散共分散行列が対角行列であるとき，$\vx$の各次元が無相関となります。したがって，$\vx$の各次元が無相関である場合，マハラノビス距離$D$とユークリッド距離$E$は等価になります。さらに，独立ならば無相関が成り立つため，$\vx$の各次元が独立である場合もマハラノビス距離$D$とユークリッド距離$E$は等価になります。
証明
多変量正規分布の確率密度関数の導出と同様に，ある正則な線形変換$A\in\mR^{D\times D}$によって$\vx$の各次元の分布を標準化し，$\vz$を定義します。
\vz &= A^{-1}(\vx - \vmu)
\end{align}
標準化を行うための正則な線形変換$A^{-1}$が存在することは，一次元の場合を考えれば明らかとしてよいでしょう。すなわち，分散が非ゼロである状況下においては，一次元のデータの集合を標準化するための線形変換が存在しますから，この変換を$D$次元のそれぞれに適用するような線形変換を考えればよいのです。ただし，$D$次元のデータが全て同一のデータである場合は，分散がゼロとなり，各次元の分布を標準化するための線形変換は存在しませんので，正則な線形変換$A$も存在しなくなってしまいます。
$\vx$を標準化した$\vz$の各次元の分散は$1$になることから，$\Sigma$が対角行列の場合は$\vz$の分散共分散行列は$D$次元単位行列$I_{D}$となります。
E\left[\vz\vz^{T}\right] &= I_{D}
\end{align}
すると，$\vx$の共分散行列は
\Sigma &= E\left[(\vx-\vmu)(\vx-\vmu)^{T}\right]\\[0.7em]
&= E\left[(A\vz)(A\vz)^{T}\right]\\[0.7em]
&= E\left[A\vz\vz^{T}A^{T}\right]\\[0.7em]
&= AE[\vz\vz^{T}]A^{T}\\[0.7em]
&= AI_{D}A^{T}\\[0.7em]
&= AA^{T}
\end{align}
と表されます。このとき，$\vx$のマハラノビス距離$D$は$\vz$を用いて
D &= \sqrt{(\vx-\vmu)^{T}\Sigma^{-1}(\vx-\vmu)}\\[0.7em]
&= \sqrt{(A\vz)^{T}(AA^{T})^{-1}(A\vz)}\\[0.7em]
&= \sqrt{\vz^{T}A^{T}(A^{T})^{-1}A^{-1}A\vz}\\[0.7em]
&= \sqrt{\vz^{T}\vz} = \sqrt{\|\vz\|^{2}} = E
\end{align}
と表されます。以上より，共分散行列が対角行列であるならば，標準化された$\vx$に対するマハラノビス距離$D$とユークリッド距離$E$が等価であることが示されました。
結論を定性的に考察すると，マハラノビス距離はユークリッド距離を各次元の相関を考慮して拡張した概念ですが，各次元に相関がない場合は分散共分散行列を用いた距離の補正は標準化によって均されるということです。逆に言えば，各次元に相関がある場合は，各次元の分布を標準化したとしても相関の影響をなくすことはできないということです。各次元の分布を標準化する行為が，分散共分散行列の対角成分だけをいじる行為に相当しますので，標準化だけでは非対角成分である相関についての調整を行うことはできないのです。したがって，相関の調整を行うためには，非対角成分をいじる必要がありますが，これは回転行列を掛ける行為に相当します。
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント