主成分分析 (PCA) と独立成分分析 (ICA)

この記事では、主成分分析 (Principal Component Analysis, PCA) と 独立成分分析 (Independent Component Analysis, ICA) について初心者向けに解説します。どちらも、データの次元を削減するための手法ですが、それぞれ異なる理論的背景と目的を持っています。PCAは相関関係に基づいてデータの主成分を見つけるのに対し、ICAは独立な信号源を分離することを目指します。

主成分分析 (PCA) とは

PCA の目的

主成分分析（PCA）は、多次元データの次元を削減し、データの重要な特徴を抽出するための統計的手法です。次元削減とは、元々多くの特徴量を持つデータを、少ない特徴量に要約することを指します。PCAは、データの中で最も分散が大きい方向（データの「ばらつき」が最も大きい方向）を見つけ、その方向に沿った新しい軸を作成します。この軸が主成分です。

PCAは、次のような場面で使用されます。

データの可視化（特に2次元や3次元にプロジェクションする際）
次元削減を行い、計算負荷を減らす
ノイズ除去や特徴選択

データ行列と共分散行列

PCAの理論を理解するためには、まずデータ行列と共分散行列を理解する必要があります。

データ行列

データ行列は、各行がデータポイントを、各列が特徴を表す行列です。例えば、データが$m$個のサンプル（データポイント）と$n$個の特徴量（変数）からなる場合、データ行列$X$は次のようになります。

$$
X = \begin{bmatrix}
x_{11} & x_{12} & \dots & x_{1n} \
x_{21} & x_{22} & \dots & x_{2n} \
\vdots & \vdots & \ddots & \vdots \
x_{m1} & x_{m2} & \dots & x_{mn}
\end{bmatrix}
$$

ここで、$x_{ij}$は$i$番目のサンプルの$j$番目の特徴量を表しています。

共分散行列

PCAの中心的な概念は、データの共分散行列を計算することです。共分散行列は、データの変数間の共分散を表す行列で、次のように定義されます。

$$
C = \frac{1}{m-1} X^T X
$$

ここで、$C$は$n \times n$の行列であり、各要素$C_{ij}$は特徴量$i$と特徴量$j$の間の共分散を表します。

PCAの手順

PCAは、以下の手順で行われます。

データの中心化: 各特徴量の平均を0にするため、データを平均から引きます。 $$ X_{\text{centered}} = X – \bar{X} $$ ここで、$\bar{X}$は各特徴量の平均です。
共分散行列の計算: 中心化されたデータから共分散行列を計算します。 $$ C = \frac{1}{m-1} X_{\text{centered}}^T X_{\text{centered}} $$
固有値分解: 共分散行列の固有値と固有ベクトルを計算します。 $$ C v_i = \lambda_i v_i $$ ここで、$\lambda_i$は固有値、$v_i$は固有ベクトルです。固有ベクトルはデータの主成分を表し、固有値はその主成分の「重要度」を示します。
主成分の選択: 固有値が大きい順に、いくつかの主成分を選びます。これにより、次元削減が行われます。

PCAの数式的表現

データ行列$X$を主成分に変換するためには、固有ベクトルから成る行列$V$を用いて、次のようにデータを射影します。

$$
X_{\text{PCA}} = X V
$$

ここで、$X_{\text{PCA}}$は主成分空間に射影されたデータです。

PCAの物理的な意味

PCAは、データの分散が最も大きい方向（すなわち、データが最も情報を持っている方向）を見つけます。データの特徴量が多すぎる場合、それらの特徴量の一部は他の特徴量と強く相関していることが多く、このような冗長な情報を削減することで、データの本質的な構造をよりシンプルに理解することが可能になります。

PCAの応用は、画像データや音声データ、金融データなど、さまざまな分野で見られますが、物理現象としては、例えば光のスペクトルの分析や材料特性のデータ分析など、計測データの解析に使用されます。

独立成分分析 (ICA) とは

ICA の目的

独立成分分析（Independent Component Analysis, ICA）は、観測された多次元データを、統計的に独立した成分に分解する手法です。PCAがデータの分散に基づいてデータを要約するのに対し、ICAは観測データを生成している「独立した信号源」を見つけ出すことを目的としています。例えば、複数のマイクロフォンで録音された混合音声から、個々の話者の声を分離する問題（カクテルパーティー問題）に使われます。

ICAの基本概念

ICAの基本的な考え方は、観測されたデータが、複数の独立した信号源から線形混合された結果であるという仮定に基づいています。

観測データのモデル

ICAでは、観測データ$x$が独立した信号源$s$の線形結合であると仮定します。これを数式で表すと、次のようになります。

$$
x = A s
$$

ここで、$x$は観測データのベクトル、$s$は独立した信号源のベクトル、$A$は混合行列と呼ばれる行列です。ICAの目的は、この観測データ$x$から信号源$s$と混合行列$A$を推定することです。

独立性の定義

ICAの重要な概念は「独立性」です。2つの確率変数が独立であるとは、それらの同時確率分布が、それぞれの確率分布の積で表せることを意味します。つまり、$P(x, y) = P(x)P(y)$が成立する場合、$x$と$y$は独立です。

ICAの手順

ICAの基本的な手順は次の通りです。

データの前処理: PCAと同様に、データを平均0に中心化し、分散を1に標準化します。
信号源の推定: ICAアルゴリズムを用いて、観測データ$x$から独立成分$s$を推定します。ICAにはいくつかのアルゴリズムがあり、FastICAやInfomaxなどが代表的です。
独立成分の取得: 推定された信号源$s$が、観測データ$x$を生成している独立成分です。

ICAの数式的表現

ICAでは、観測データ$x$を次のように分解します。

$$
x = A s
$$

このとき、ICAアルゴリズムによって$A$と$s$を推定し、信号源$s$を復元します。

ICAの物理的な意味

ICAは、混合された信号を分離するための方法として物理現象をモデル化します。例えば、複数の信号源から同時に発生する音や光などが、

混合されて観測される場合、ICAを使ってその元となる信号を復元できます。この手法は、脳波データ（EEG）や画像処理、音声処理など、さまざまな科学・工学分野で利用されています。

PCAとICAの違い

PCAとICAはどちらも次元削減やデータの分解に用いられますが、それぞれ異なる目的を持っています。

PCAは、データの分散が最大となる方向に主成分を見つけ、データの次元を削減するのに適しています。観測データの分散に基づいてデータを要約する手法です。
ICAは、観測データが独立な信号源の線形結合であると仮定し、その信号源を分離する手法です。ICAはデータの独立性を重視しています。

具体的な違い

特徴	主成分分析 (PCA)	独立成分分析 (ICA)
目的	データの分散が最大となる主成分を見つける	観測データから独立した信号源を分離する
数学的手法	共分散行列の固有値分解	独立性の最適化
データの前提	線形的に相関したデータ	独立した信号源の混合データ