状態確率と状態遷移行列

状態確率と状態遷移行列は、確率論と統計学において、特にマルコフ過程やマルコフ連鎖に関連する概念です。これらは、現実世界の複雑なシステムや動的なプロセスをモデル化する際に使われます。この2つの概念を理解するためには、確率や遷移の基本的な考え方を基礎として押さえる必要があります。

1. 状態確率とは？

確率の基本

まず、確率とは、ある特定の事象が発生する可能性を数値で表したものです。確率は通常、$0$から$1$の範囲で表され、$1$は確実に起こること、$0$は全く起こらないことを意味します。

例として、サイコロを振る場合、各面が出る確率は等しく、$1/6$です。このように、確率はその事象が起こる回数の割合と解釈されます。

状態とは？

システムが取りうる「状態」とは、システムのある瞬間の姿や状況を指します。例えば、天気のシステムを考えると、「晴れ」「雨」「曇り」などが状態となります。これらの状態は時間とともに変化します。

状態確率の定義

状態確率とは、システムが特定の時点である特定の状態にある確率を指します。例えば、ある日が「晴れ」である確率は状態確率です。

システムがいくつかの異なる状態を取りうる場合、各状態に対してそれぞれの状態確率が存在します。これを数式で表すと、状態 $i$ にある確率を $P_i$ とします。ここで、すべての状態の確率の和は常に $1$ になります。これは、システムがどこかの状態に必ず存在するためです。

$$
\sum_{i=1}^{n} P_i = 1
$$

$n$はシステムが取りうる状態の数を示しています。

2. 状態遷移と遷移確率

状態遷移とは？

システムは時間の経過とともに異なる状態に移行することが一般的です。これを状態遷移と呼びます。例えば、天気が「晴れ」から「雨」へと変わることが状態遷移です。

遷移確率の定義

ある時点で状態 $i$ にあったシステムが次の時点で状態 $j$ に移る確率を遷移確率と呼びます。これを $P_{ij}$ で表します。この遷移確率は、ある時刻でシステムが状態 $i$ にある場合、次の時刻で状態 $j$ に遷移する可能性を示します。

例えば、今日が「晴れ」の場合、明日が「雨」になる確率が $0.3$であれば、これは遷移確率 $P_{\text{晴れ}, \text{雨}} = 0.3$ となります。

遷移確率には次のような性質があります。

各状態から他の状態への遷移確率の合計は $1$ です。
遷移確率は0から1の範囲にあります。

$$
\sum_{j=1}^{n} P_{ij} = 1
$$

これは、次の瞬間には必ずどこかの状態に遷移するため、すべての遷移確率の合計が $1$ でなければならないことを意味します。

3. 状態遷移行列

行列の基本

行列とは、数値や式を格子状に並べたもので、数列やデータを整理して扱うための便利なツールです。例えば、$2 \times 2$行列は次のように表されます。

$$
A = \begin{pmatrix} a_{11} & a_{12} \ a_{21} & a_{22} \end{pmatrix}
$$

これは、2つの行と2つの列を持つ行列です。行列は特に、複数の状態間の関係を一括して扱うために非常に有用です。

状態遷移行列の定義

状態遷移行列は、システムが異なる状態間でどのように遷移するかを整理して表現した行列です。行列の要素は、各状態から他の状態への遷移確率を示します。

例えば、3つの状態「晴れ」「雨」「曇り」があるシステムの状態遷移行列を次のように表すことができます。

$$
P = \begin{pmatrix} P_{\text{晴れ}, \text{晴れ}} & P_{\text{晴れ}, \text{雨}} & P_{\text{晴れ}, \text{曇り}} \ P_{\text{雨}, \text{晴れ}} & P_{\text{雨}, \text{雨}} & P_{\text{雨}, \text{曇り}} \ P_{\text{曇り}, \text{晴れ}} & P_{\text{曇り}, \text{雨}} & P_{\text{曇り}, \text{曇り}} \end{pmatrix}
$$

ここで、$P_{\text{晴れ}, \text{雨}}$は「晴れ」から「雨」への遷移確率を表します。この行列のすべての行の和は1でなければなりません。つまり、ある状態からどこかに必ず遷移するということを意味します。

行列の性質

状態遷移行列にはいくつかの重要な性質があります。

行の和が1: 各行はある状態における他の状態への遷移確率を表すため、行全体の和は常に1になります。 $$\sum_{j} P_{ij} = 1$$
連続する時間における遷移: 時間が進むにつれて、システムが異なる状態に移行する確率は状態遷移行列を用いて計算できます。例えば、2ステップ後の状態確率は、状態遷移行列の2乗で計算されます。 $$ P(2) = P^2 $$ これは、2ステップ先の状態における確率を計算するために、状態遷移行列を2回掛け合わせることを意味します。

4. 状態確率の変化

システムの状態確率は、時間が経過するにつれて変化します。これを時間発展と呼び、状態遷移行列を使って計算します。初期の状態確率ベクトルを $p(0)$ とし、次の時刻での状態確率ベクトルを $p(1)$ とした場合、次のような関係が成り立ちます。

$$
p(1) = P \cdot p(0)
$$

ここで、$p(0)$ は初期の状態確率を表すベクトル、$P$ は状態遷移行列です。この式は、ある時刻での状態確率がわかっている場合、その次の時刻の状態確率を計算するために使います。

さらに、時間が進むにつれて状態が安定してくると、ある一定の確率分布に収束することがあります。これを定常分布と呼びます。定常分布は、システムが時間を経ても確率分布が変わらなくなった状態を指します。

$$
p = P \cdot p
$$

この式は、定常分布が状態遷移行列との掛け算で自身に戻るという条件を示しています。

5. 状態確率と状態遷移行列の応用

状態確率と状態遷移行列は、現実世界で様々なシステムのモデル化に応用されています。例えば、以下のような分野で活用されています。

金融工学: 株価や為替の変動を予測するために、価格の状態をモデリングする際に使用されます。
通信ネットワーク: ネ

ットワーク内のデータ転送状態を追跡し、効率的な通信を実現するためのモデリングに利用されます。

生物学: 遺伝子の変異や種の進化を確率的に予測するために、遷移確率が使われています。

これらの応用例では、物理的な現象の確率的な性質を考慮し、将来の状態を予測するために状態確率と状態遷移行列が活用されています。

まとめ

状態確率と状態遷移行列は、確率的なシステムや動的なプロセスを理解する上で非常に重要な概念です。状態確率は、システムが特定の時点である状態に存在する確率を表し、状態遷移行列はそのシステムが異なる状態間でどのように遷移するかを記述します。これらの概念を使うことで、現実世界の複雑なシステムを確率的にモデリングし、将来の状態を予測することが可能になります。