応用数学3

 情報理論について、学習した。

 
 そもそも情報理論とは、「情報・通信を数学的に論じる学問。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。」である。

 
 学習内容は以下の通り。

 ・自己情報量

 ・シャノンエントロピー

 ・KLダイバージェンス

 ・交差エントロピー

 

 この中で、機械学習の誤差の指標でもよく用いられる交差エントロピーを取り上げたい。

 交差エントロピーとは、2つの確率分布の間に定義される尺度であり、2つの確率分布がどれくらい「離れているか」を表す。

   -\sum_{x}P(x) \log Q(x)

  P Qが一致しているほど、交差エントロピーは小さくなり、0に近づく。

 そのため、機械学習(2値分類、多値分類)でそれぞれ、「正解の分布」、「予測の分布」と置いたとき、機械学習による予測が正解に似ているほど、P と Q の交差エントロピーが小さくなるため、予測誤差指標として使用される。

 2値分類だと、式は簡単になり -P(x) \log Q(x)-(1-P(X) ) \log Q(1-x)で表される。

 具体例として、犬と猫の分類器を考える。正解が犬の場合、真の確率分布を、 P(X)=1, 1-P(X)=0と表現する。その時、1つ目の分類器は Q(X)=0.9, 1-Q(X)=0.1と推定、2つ目の分類器は Q(X)=0.6, 1-Q(X)=0.4と推定したと仮定する。感覚的に、2つ目よりも1つ目の方が推定精度が良さそうだが、交差エントロピーで確認してみる。

1つ目の分類器の交差エントロピー -1 \log (0.9)-0・ \log (0.1)=0.11
2つ目の分類器の交差エントロピー -1 \log (0.6)-0・ \log (0.4)=0.51となり、
1つ目の方が交差エントロピーが小さく、0に近づく。