【徹底解説】KLダイバージェンスの定義

2つの分布間の「離れ具合」を測る指標がKLダイバージェンスです。2つの分布を入れ替えると異なる値になることがあり，距離の公理を満たさないことから数学的な距離とはいえません。しかし，情報理論の世界において自然に導入される概念であることなどから，KLダイバージェンスが「距離のような尺度」として用いられることは珍しくありません。KLダイバージェンスは非対称ですので，$\KL(p\|q)$と$\KL(q\|p)$は異なります。前者をForward KL，後者をReverse KLと呼ぶことがあります。KLダイバージェンスの定義より，Forward KLは$\log$関数を$p$で重みづけしていますので，$p \neq 0$の部分を$q$で網羅しようとします。その結果，$q$の分散は大きくなりやすいです。一方で，Reverse KLは$\log$関数を$q$で重みづけしていますので，$q$は$0$ではない部分で$p$を網羅しようとします。その結果，$q$の分散は小さくなりやすいです。例えば，真の事後分布が多峰性の場合，Forward KLでは複数のピークをならしたような近似事後分布が得られるのに対し，Reverse KLではある1つのピークに着目した近似事後分布が得られやすいです。多峰性の場合は近似事後分布に混合ガウス分布を持ち出せばうまくフィッティングできますが，KLダイバージェンスの非対称性を把握しておくことは非常に大切です。