Singular Value Decomposition (SVD)の基礎理論

はじめに

特異値分解（Singular Value Decomposition, SVD）は、行列を分解するための強力な数学的手法であり、線形代数や数値解析の分野で広く使用されています。SVDは、行列の構造を深く理解するためのツールとしてだけでなく、データ圧縮やノイズ除去、機械学習などの応用分野でも重要です。本記事では、SVDの基本理論とその数学的背景について、初心者にもわかりやすく解説します。

1. SVDの概要

SVDは、任意の$m \times n$行列$A$を3つの行列の積に分解する手法です。この分解は次のように表されます。

$$
A = U \Sigma V^T
$$

ここで、

$U$: $m \times m$の直交行列で、左特異ベクトルを列に持ちます。
$\Sigma$: $m \times n$の対角行列で、対角成分が特異値と呼ばれる非負の実数です。
$V^T$: $n \times n$の直交行列で、右特異ベクトルを行に持ちます。

SVDを用いることで、行列$A$の重要な構造を簡潔に表現することができます。

2. SVDの数学的背景

SVDの基本的な考え方は、行列を固有ベクトルと固有値に基づいて分解するという点で、固有値分解（Eigenvalue Decomposition）と似ています。しかし、SVDは正方行列だけでなく、任意の矩形行列に対しても適用可能であり、行列の特異値を求めることで行列の性質を捉えます。

特異値と特異ベクトル

まず、行列$A$の特異値を求めるためには、次の固有値問題を解く必要があります。

$$
A^T A v_i = \sigma_i^2 v_i
$$

ここで、$\sigma_i$は特異値、$v_i$は右特異ベクトルです。同様に、左特異ベクトル$u_i$は次のように求められます。

$$
A A^T u_i = \sigma_i^2 u_i
$$

特異値$\sigma_i$は、行列$A$の持つ情報量やエネルギーを表し、$\sigma_i$が大きいほど、対応する特異ベクトルが行列$A$の本質的な特徴を捉えていることを意味します。

SVDの計算方法

SVDは、$A^T A$や$A A^T$の固有値問題を解くことで、特異値と特異ベクトルを求めます。特異値$\sigma_i$は$A^T A$や$A A^T$の固有値の平方根として計算され、対応する固有ベクトルが特異ベクトルとなります。

具体的には、次の手順でSVDを計算します。

行列$A^T A$の固有値問題を解き、右特異ベクトル$V$を求める。
行列$A A^T$の固有値問題を解き、左特異ベクトル$U$を求める。
特異値$\sigma_i$は$A^T A$の固有値の平方根として求められる。

3. SVDの性質

SVDには以下のような重要な性質があります。

特異値の順序: 特異値$\sigma_i$は非負であり、$\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r > 0$の順に並べられます。ここで、$r$は行列$A$のランクです。
行列のランクと特異値: 行列$A$のランクは、その非ゼロ特異値の数に等しくなります。つまり、特異値がゼロでない限り、その特異ベクトルは行列$A$のランクに寄与します。
行列のノルムと特異値: 行列$A$のフロベニウスノルムやスペクトルノルムは、特異値に基づいて計算されます。例えば、フロベニウスノルム$|A|_F$は次のように表されます。

$$
|A|_F = \sqrt{\sum_{i=1}^r \sigma_i^2}
$$

行列の条件数: 行列$A$の条件数（Condition Number）は、最大特異値$\sigma_1$と最小特異値$\sigma_r$の比として定義されます。条件数は、行列の逆行列が存在するかどうかや、数値計算の安定性を示す指標となります。

$$
\kappa(A) = \frac{\sigma_1}{\sigma_r}
$$

4. SVDの物理的解釈

SVDは、行列のデータをエネルギーや情報量に基づいて分解するための方法であり、特に物理的現象を捉える際に有用です。SVDを用いることで、データセットの中で最も重要な成分を抽出し、物理現象を理解するための手がかりを得ることができます。

例えば、流体力学における速度場のデータをSVDで分解することで、流れ場の主要なモードを特定し、そのモードがどのように時間的に変化するかを解析することができます。また、材料科学において、結晶構造の変化をSVDで解析することで、結晶格子の歪みや欠陥の影響を明らかにすることが可能です。

5. SVDの応用

SVDは、さまざまな分野で幅広く応用されています。以下に代表的な応用例をいくつか紹介します。

データ圧縮: SVDを用いて行列を低ランク近似することで、データを効率的に圧縮できます。例えば、画像データをSVDで分解し、主要な特異値と対応する特異ベクトルのみを保存することで、画像の品質を維持しながらデータサイズを削減することができます。
ノイズ除去: SVDを用いてノイズを含むデータから主要な成分を抽出することで、ノイズ除去が可能です。特に、特異値が小さい成分はノイズに対応することが多いため、それを取り除くことでデータのクリーンアップが行えます。
機械学習: SVDは、機械学習において次元削減や特徴抽出のために使用されます。例えば、主成分分析（PCA）はSVDに基づいた次元削減手法であり、高次元データを低次元空間に射影することで、モデルの性能向上や計算コストの削減を図ります。
レコメンデーションシステム: レコメンデーションシステムでは、ユーザーの評価データをSVDで分解し、ユーザーやアイテムの潜在的な特徴を抽出することで、ユーザーの好みに合ったアイテムを推奨することが可能になります。

6. SVDの理論的限界と課題

SVDには以下のような限界や課題があります。

計算コスト: SVDの計算には多くの計算リソースが必要です。特に、大規模なデータセットに対しては、SVDの計算が非常に時間がかかるため、効率的なアルゴリズムや近似手法が求められます。
非線形性の扱い: SVDは線形システムに対して非常に効果的ですが、非線形システムに対してはその効果が限定されることがあります。非線形性を含むデータセットに対しては、カーネル法などの非線形次元削減手法を併用する必要があります。
データの多様性: データが非常に多様である場合、SVDの効果が十分に発揮されないことがあります。例えば、データが非常に異質であり、単一の低次元空間に射影することで情報が失われる場合です。このような場合、より複雑なモデルや多様な手法を併用する必要があります。

7. SVDの具体例

SVDの理解を深めるために、具体的な例を用いてその計算過程を見てみましょう。ここでは、簡単な$3 \times 2$行列$A$に対するSVDを計算します。

行列$A$を次のように定義します。

$$
A = \begin{pmatrix}
1 & 0 \
0 & 1 \
1 & 1
\end{pmatrix}
$$

この行列$A$に対して、SVDを計算すると、$U$, $\Sigma$, $V^T$の3つの行列に分解されます。

右特異ベクトル$V$の計算: 行列$A^T A$を計算し、その固有値問題を解きます。

$$
A^T A = \begin{pmatrix}
2 & 1 \
1 & 2
\end{pmatrix}
$$

この行列の固有値を求めると、$\lambda_1 = 3$, $\lambda_2 = 1$が得られます。これに対応する固有ベクトル$v_1$, $v_2$が右特異ベクトルとなります。

左特異ベクトル$U$の計算: 行列$A A^T$を計算し、その固有値問題を解きます。

$$
A A^T = \begin{pmatrix}
1 & 0 & 1 \
0 & 1 & 1 \
1 & 1 & 2
\end{pmatrix}
$$

この行列の固有値を求めると、$\lambda_1 = 3$, $\lambda_2 = 1$, $\lambda_3 = 0$が得られます。これに対応する固有ベクトル$u_1$, $u_2$, $u_3$が左特異ベクトルとなります。

特異値$\Sigma$の計算: 特異値$\sigma_1 = \sqrt{3}$, $\sigma_2 = 1$, $\sigma_3 = 0$が得られます。これを対角行列$\Sigma$に配置します。

以上の計算により、行列$A$は次のように分解されます。

$$
A = U \Sigma V^T = \begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \
1 & 1
\end{pmatrix}
\begin{pmatrix}
\sqrt{3} & 0 \
0 & 1
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \
-\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{pmatrix}
$$

このようにして、行列$A$の構造を理解するための基本的な情報がSVDによって得られます。

8. SVDのまとめ

SVDは、線形代数において非常に強力なツールであり、行列の特性を詳細に解析するための基本的な手法です。特異値分解を用いることで、データの圧縮やノイズ除去、物理現象の解析など、幅広い分野でその力を発揮します。本記事では、SVDの基本理論とその計算方法について解説しましたが、実際の応用においては、さらに高度な手法や近似アルゴリズムが用いられることが多いです。SVDを理解することで、データ解析や数値計算における新たな視点を得ることができるでしょう。