ロジスティック回帰の解説 - ITとCFD入門サイト

1. はじめに

ロジスティック回帰（logistic regression）は、統計モデルの一つであり、特に二値分類（binary classification）問題において使用されます。これは、従属変数（結果）が2つのカテゴリーに分かれる場合、例えば「成功/失敗」や「病気/健康」のようなデータを分析する際に役立ちます。ロジスティック回帰は、回帰分析の一種ですが、従属変数が連続的な値を取る場合ではなく、離散的な結果を扱います。

この記事では、ロジスティック回帰の基本的な考え方から、その数式や理論を丁寧に解説し、初心者にも理解しやすい形で説明します。また、物理現象や日常生活での応用についても触れながら、ロジスティック回帰の重要性を明らかにしていきます。

2. ロジスティック回帰とは？

2.1 回帰分析の違い

まず、一般的な線形回帰とロジスティック回帰の違いを理解することが重要です。線形回帰は、従属変数が連続値（実数）である場合に使用され、以下のようなモデルを用います。

$$
Y = \beta_0 + \beta_1 X + \varepsilon
$$

ここで、

$Y$ は従属変数（予測したい値）、
$X$ は独立変数（説明変数）、
$\beta_0$ は切片（回帰直線が$Y$軸と交わる点）、
$\beta_1$ は回帰係数（$X$の変化に伴う$Y$の変化を示す）、
$\varepsilon$ は誤差項です。

一方、ロジスティック回帰では、従属変数が0または1の二値（バイナリ）を取るケースを扱います。ここで、値が0は失敗、値が1は成功を意味することが多いです。例えば、ある患者が病気にかかるかどうかを予測する場合、病気にかかる（1）かかからない（0）という2つの状態があります。

2.2 ロジスティック回帰のモデル

ロジスティック回帰の目的は、独立変数$X$から従属変数$Y$（0または1）への確率を予測することです。具体的には、次のように表されます。

$$
P(Y = 1 | X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X)}}
$$

この式は、ロジスティック関数（シグモイド関数）を利用して、$X$の値に応じた$Y=1$（成功）の確率を出力します。

$P(Y = 1 | X)$ は、独立変数$X$の値に基づいて、$Y=1$（成功）の確率を表します。
$\beta_0$ と $\beta_1$ はそれぞれ、モデルのパラメータであり、データに基づいて推定されます。
$e$ はネイピア数（約2.718）です。

ロジスティック回帰では、結果が0または1というカテゴリカルデータであるため、確率値を用いてこのような二値の問題を解きます。

2.3 シグモイド関数の特徴

ロジスティック回帰の中心には、シグモイド関数があります。この関数は、以下の特徴を持っています。

S字型の曲線: $X$の値が大きくなるほど、$Y=1$の確率が1に近づきます。一方で、$X$が小さくなると、$Y=1$の確率は0に近づきます。
出力範囲: シグモイド関数の出力は常に0と1の間に収まり、確率として解釈可能です。

シグモイド関数は次のように定義されます。

$$
\sigma(z) = \frac{1}{1 + e^{-z}}
$$

この$z$には、$X$の線形結合である$\beta_0 + \beta_1 X$が入ります。

3. ロジスティック回帰の基礎理論

3.1 ロジスティック回帰の対数オッズ

ロジスティック回帰は、オッズ比という概念に基づいています。オッズは「ある事象が発生する確率」と「発生しない確率」の比率であり、次のように定義されます。

$$
\text{オッズ} = \frac{P(Y=1)}{P(Y=0)} = \frac{P(Y=1)}{1 – P(Y=1)}
$$

ロジスティック回帰では、このオッズの対数を用いて次のような線形モデルを構築します。

$$
\log \left( \frac{P(Y=1)}{1 – P(Y=1)} \right) = \beta_0 + \beta_1 X
$$

この式は、対数オッズを独立変数$X$の関数として表現しています。このモデルに基づいて、$Y=1$の確率を予測します。

3.2 ロジスティック回帰の推定方法

ロジスティック回帰のパラメータ$\beta_0$と$\beta_1$は、尤度関数を最大化することで推定されます。尤度関数は、与えられたデータがモデルによってどの程度説明されているかを表す関数です。最尤法（maximum likelihood estimation, MLE）を用いて、この関数を最大化することでパラメータを推定します。

尤度関数$L$は次のように表されます。

$$
L(\beta_0, \beta_1) = \prod_{i=1}^{n} P(Y_i | X_i; \beta_0, \beta_1)
$$

ここで、$n$はデータポイントの数です。最尤法では、この関数の対数を取り、パラメータに関して微分して最大化します。

3.3 損失関数

ロジスティック回帰において、パラメータ推定の目的は、予測結果と実際のデータとの差を最小化することです。これを実現するために、損失関数が導入されます。ロジスティック回帰の損失関数は交差エントロピー損失（cross-entropy loss）と呼ばれ、次のように定義されます。

$$
\text{Loss} = – \left( y \log(p) + (1 – y) \log(1 – p) \right)
$$

ここで、$y$は実際のラベル（0または1）、$p$は$Y=1$である確率です。この損失関数を最小化することで、パラメータを最適化します。

4. ロジスティック回帰と物理現象

ロジスティック回帰は物理学や自然現象においても応用可能です。例えば、量子力学や統計力学において、確率的な現象を扱う場面ではロジスティック回帰の考え方が役立ちます。物質がある状態から別の状態に移行する確率や、ある条件下での粒子の振る舞いなど、確率モデルが現れる場面でロジスティック回帰は効果的です。

4.1 粒子のスピン状態の予測

物理学の中で、例えば電子のスピン状態（上向きか下向きか）を予測する問題は、ロジスティック回帰で表現できます。電子のスピン状態は量子力学的には2つの離散的な状態を取るため、ロジスティック回帰が適用可能です。外部磁場$X$によってスピンがどちらの方向を向くか、その確率を予測するモデルは次のように表現されます。

$$
P(\text{ス

ピン} = \uparrow | X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X)}}
$$

このモデルを通じて、外部磁場の変化がスピン状態に与える影響を定量的に予測することができます。