はじめに

AIや機械学習の分野で、「確率分布の比較」は重要なテーマのひとつだ。
その中でも「KLダイバージェンス（Kullback-Leibler Divergence）」は、モデル評価や情報理論に関わる基本的な指標として頻出する。

G検定でもたびたび出題されるテーマであり、単なる暗記ではなく、仕組みや適用範囲まで理解しておく必要がある。
今回は、G検定の実際の過去問をもとに、KLダイバージェンスの本質を整理していこう。

Contents

KLダイバージェンスとは何か？

KLダイバージェンスとは、2つの確率分布がどの程度異なっているかを定量的に測る指標だ。
ある確率分布Pと、近似分布Qがあった場合、PからQへのKLダイバージェンスは以下の式で定義される。

$$
D_{KL}(P \parallel Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)}
$$

ここで重要なのは、非対称な指標だという点。
つまり、PとQを入れ替えると同じ値にはならない。
また、KLダイバージェンスはゼロ以上の値を取り、完全に一致する分布間では値がゼロになる。

実際のG検定で出題された問題を確認してみよう。

KLダイバージェンスの説明として、最も不適切な選択肢を選べ。

正解は「3. 比較する確率分布は正規分布に限る」

KLダイバージェンスの適用先として、正規分布だけに限定されることはない。
任意の確率分布同士で使用できるというのが正しい認識だ。

実際には、カテゴリカル分布、ベルヌーイ分布、ポアソン分布など、あらゆる確率分布間でKLダイバージェンスを計算できる。
正規分布での応用例が多いことは事実だが、それは「適用可能」な一例にすぎず、制約ではない。

では、残りの選択肢がなぜ「正しい説明」なのかを確認しよう。

選択肢	内容	解説
1. 2つの確率分布がどの程度似ているかを表す尺度である	正解	分布Pが分布Qとどれほど異なるかを測る「非対称な距離」として利用される。
2. 非負の値をとる	正解	ログ比をとるが、全体としては常にゼロ以上の値になる。マイナスにはならない。
4. 2つの確率分布が同じ場合、値は0となる	正解	分布が完全一致しているとき、対数比が1になり、全体としてゼロになる。

KLダイバージェンスは「距離」に似た性質を持つが、ユークリッド距離やマンハッタン距離のような対称性や三角不等式は満たさない。
したがって、「どれだけ違うか」を測るための指標として、慎重な解釈が求められる。

KLダイバージェンスは理論だけでなく、実務でも活用されている。
以下に代表的な応用シーンを挙げてみよう。

ある機械学習モデルが予測する出力分布と、実際の正解分布（ラベル分布）を比較し、モデルがどれだけ現実に近いかを測定する際に使用される。

システムの通常時のログ分布と、現在のログ分布を比較し、KLダイバージェンスの値が急激に大きくなった場合を「異常」とみなす手法がある。

生成モデル（例：チャットボット）が出力する単語分布と、人間の発話分布を比較することで、モデルの自然さを評価できる。

KLダイバージェンスは、G検定においても実務においても頻出の指標だ。
名前は難しそうだが、「2つの確率分布がどれだけ違うか」を測る指標というシンプルなイメージで捉えると理解が進む。

✅ ポイントは以下の通り：

G検定の学習を通して、この指標を「暗記」ではなく「使える知識」として定着させていこう。