マルコフ過程とマルコフ連鎖

はじめに

「マルコフ過程」と「マルコフ連鎖」は、確率論における重要な概念であり、特に時間に依存したランダムな現象を記述するために使われます。これらの理論は物理学、経済学、統計学、人工知能など、多岐にわたる分野で応用されています。本記事では、マルコフ過程とマルコフ連鎖の基礎理論を中心に、初心者にも理解できるように解説します。

マルコフ過程とは

マルコフ過程（Markov Process）は、未来の状態が現在の状態のみに依存し、過去の状態には依存しない確率過程です。この性質はマルコフ性（Markov Property）と呼ばれます。具体的には、ある時刻$t$におけるシステムの状態を$X_t$としたとき、未来の状態$X_{t+1}$は現在の状態$X_t$のみで決まります。これは次のように表せます。

$$
P(X_{t+1} | X_t, X_{t-1}, …, X_0) = P(X_{t+1} | X_t)
$$

ここで、$P(X_{t+1} | X_t)$は条件付き確率と呼ばれ、$X_t$の情報が与えられたときに$X_{t+1}$がどのような値を取るかの確率を示しています。マルコフ過程は、この条件付き確率が過去の状態に依存せず、現在の状態だけに依存するという特性を持っています。

確率過程とマルコフ性

確率過程とは

まず、確率過程とは、時間とともにランダムに変動するシステムの状態を記述するための数学的なモデルです。確率過程は、観測される変数が時間に応じて異なる値を取る場合に用いられます。例えば、天気の変化、株価の変動、あるいは物理的な粒子の動きなどが確率過程としてモデル化されます。

マルコフ性

マルコフ性の性質は、未来の予測が過去の詳細な情報に依存せず、現在の状態だけに基づいて行えるという非常に重要な特性です。これにより、システムの複雑な履歴を追跡する必要がなくなり、計算やモデル化が非常に簡単になります。

マルコフ連鎖とは

マルコフ連鎖（Markov Chain）は、マルコフ過程の一種で、状態が離散的な場合に特に用いられます。すなわち、システムが特定の状態の集合の中を遷移する場合に使われるモデルです。マルコフ連鎖は、各状態間の遷移確率を定義する遷移行列を使って表されます。

離散時間マルコフ連鎖

最も基本的な形のマルコフ連鎖は、離散時間マルコフ連鎖（Discrete-Time Markov Chain, DTMC）です。これは、状態が離散的であり、かつ遷移が離散的な時間ステップで起こるものです。例えば、時刻$t$における状態$X_t$が次の時刻$t+1$にどの状態に遷移するかは、現在の状態$X_t$だけに依存します。

DTMCは、次のように表されます。

$$
P(X_{t+1} = j | X_t = i) = p_{ij}
$$

ここで、$p_{ij}$は、時刻$t$に状態$i$から$t+1$に状態$j$に遷移する確率を意味します。これらの遷移確率は、状態の集合の大きさによって構成される遷移行列（Transition Matrix）$P$によって整理されます。$P$は次のように定義されます。

$$
P =
\begin{pmatrix}
p_{11} & p_{12} & \cdots & p_{1n} \
p_{21} & p_{22} & \cdots & p_{2n} \
\vdots & \vdots & \ddots & \vdots \
p_{n1} & p_{n2} & \cdots & p_{nn}
\end{pmatrix}
$$

遷移行列の各要素$p_{ij}$は、状態$i$から状態$j$へ遷移する確率を示します。各行の遷移確率の総和は1になる必要があります。

$$
\sum_{j} p_{ij} = 1
$$

状態空間

マルコフ連鎖の状態空間（State Space）とは、システムが取り得るすべての状態の集合のことです。状態空間が有限である場合、これを有限マルコフ連鎖と呼びます。例えば、コインの表裏を状態としたシステムは、表と裏の2つの状態しか取らないため、有限状態空間を持つマルコフ連鎖としてモデル化されます。

マルコフ連鎖の分類

マルコフ連鎖は、その性質に応じていくつかのタイプに分類されます。ここでは、代表的な分類を紹介します。

可逆性

あるマルコフ連鎖が可逆（Reversible）であるとは、その連鎖の逆も同様にマルコフ連鎖となる場合を指します。つまり、状態$i$から状態$j$への遷移と、状態$j$から状態$i$への遷移が統計的に対称である場合に、可逆とされます。

吸収状態

吸収状態（Absorbing State）とは、一度到達すると他の状態に遷移することができなくなる状態のことです。例えば、あるゲームにおいて「勝利」や「敗北」という状態が吸収状態であり、一度これらの状態に入るとゲームは終了します。

吸収状態が存在するマルコフ連鎖では、最終的にどの状態に落ち着くかという問題が重要な分析対象となります。

再帰性と一過性

マルコフ連鎖の状態$i$が再帰的（Recurrent）であるとは、最終的にその状態に必ず戻ってくることを意味します。逆に、ある状態$i$に到達した後、もう二度と戻らない可能性がある場合、その状態は一過性（Transient）と呼ばれます。

数式による詳細な説明

状態遷移の確率分布

マルコフ連鎖の状態遷移を理解するためには、各時刻$t$における状態の確率分布を追跡することが重要です。初期状態の分布を$\pi_0$とし、遷移行列を$P$としたとき、次の時刻$t+1$の状態分布$\pi_{t+1}$は以下のように表されます。

$$
\pi_{t+1} = \pi_t P
$$

これを繰り返し適用することで、任意の時刻$t$における状態の確率分布を求めることができます。

マルコフ過程の応用例

ここまでマルコフ過程とマルコフ連鎖の基礎について説明してきましたが、これらの理論はさまざまな実際の問題に応用されています。たとえば、以下のような分野で利用されています。

物理学：気体分子の運動や拡散のモデル
生物学：遺伝子変異や進化のシミュレーション
経済学：金融市場のモデルや景気変動の予測
情報科学：インターネット上のユーザー行動モデル

まとめ

マルコフ過程とマルコフ連鎖は、確率論における重要な概念であり、システムの現在の状態のみから未来の状態を予測する際に用いられます。マルコフ性というシンプルな性質を利用することで、複雑なシステムを効率的にモデル化でき、幅広い分野で応用されています。この記事では、その基本的な理論といくつかの具体例について解説しました。これを基礎に、さらに詳しい応用例や高度な理論にも挑戦してみてください。