応用数学3

ラビットチャレンジ

　情報理論について、学習した。

 
　そもそも情報理論とは、「情報・通信を数学的に論じる学問。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。」である。

 
　学習内容は以下の通り。

　・自己情報量

　・シャノンエントロピー

　・KLダイバージェンス

　・交差エントロピー

 

　この中で、機械学習の誤差の指標でもよく用いられる交差エントロピーを取り上げたい。

　交差エントロピーとは、2つの確率分布の間に定義される尺度であり、2つの確率分布がどれくらい「離れているか」を表す。

　　 -\sum_{x}P(x) \log Q(x)

　 Pと Qが一致しているほど、交差エントロピーは小さくなり、0に近づく。

　そのため、機械学習（2値分類、多値分類）でそれぞれ、「正解の分布」、「予測の分布」と置いたとき、機械学習による予測が正解に似ているほど、P と Q の交差エントロピーが小さくなるため、予測誤差指標として使用される。

　2値分類だと、式は簡単になり -P(x) \log Q(x)-(1-P(X) ) \log Q(1-x)で表される。

　具体例として、犬と猫の分類器を考える。正解が犬の場合、真の確率分布を、 P(X)=1, 1-P(X)=0と表現する。その時、1つ目の分類器は Q(X)=0.9, 1-Q(X)=0.1と推定、2つ目の分類器は Q(X)=0.6, 1-Q(X)=0.4と推定したと仮定する。感覚的に、2つ目よりも1つ目の方が推定精度が良さそうだが、交差エントロピーで確認してみる。

1つ目の分類器の交差エントロピーは -1 \log (0.9)-0・ \log (0.1)=0.11、
2つ目の分類器の交差エントロピーは -1 \log (0.6)-0・ \log (0.4)=0.51となり、
1つ目の方が交差エントロピーが小さく、0に近づく。

応用数学2

ラビットチャレンジ

　確率・統計の分野に入った。
　項目としては以下の通り
　　・条件付き確率
　　・ベイズ則
　　・期待値、分散の求め方
　　・様々な確率分布の概要

　ここでは、条件付き確率とベイズ則について整理したい。

　条件付き確率は、ある事象が起こったときに別の事象が起こる確率を意味する。

　具体例として、ある高校のある学年における、
　　ある事象→生徒の性別、別の事象→技術、家庭科の選択科目(ここでは高校生)　を想定する。

男性 女性 合計
技術 12 6 18
美術 6 12 18
家庭 9 15 24
合計 27 33 60

　このとき、生徒が「男性」とわかっているときの「技術を選択している」確率は数式では P(Y=技術|X=男性)である、その値は表を参照すれば 12/27=4/9と比較的容易にわかる。
　

条件付き確率の公式は、 P(Y=技術|X=男性)=P(Y=技術,X=男性)/P(X=男性)　である。今回の例で確かめてみる。

　

左辺は先述の通り4/9だが、
右辺の分子、(全体で)「男子」かつ「技術を選択している」確率は、 P(Y=技術,X=男性)=12/60=1/5、
右辺の分母 P(X=男性)=27/60=9/20となる。
よって、右辺は (1/5)/(9/20)=4/9となり左辺と等しくなる。

　

次に、ベイズ則についてだが、今回の例では P(Y=技術|X=男性)P(X=男性)=P(X=男性|Y=技術)P(Y=技術)が成立することを意味している。

　左辺については、前に計算した結果を用いて、 P(Y=技術|X=男性)P(X=男性)=(4/9)*(9/20)=1/5となる。

　右辺については、「技術を選択している」前提で「男性」である確率、 P(X=男性|Y=技術)=12/(6+12)=2/3、
(全体で)「技術を選択している」確率 P(Y=美術)=18/60=3/10、となる。

　よって、その積は (2/3)/(3/10)=1/5となり、左辺と等しいことを確認できた。

　ちなみに、この 1/5は先述した P(Y=技術,X=男性)=12/60=1/5と同一である。

応用数学1

ラビットチャレンジ

ここでは線形代数を学習する。

前半は行列の加減、積、逆行列など高校の数学レベルだが、

後半に出てくる固有値は機械学習の主成分分析のベースとなる考え方だ。

A \vec{x} = \lambda \vec{x}　※A：正方行列

(A- \lambda I)\vec{x} = \vec{0}

A \vec{x} \neq \vec{0} より |A- \lambda I| = 0　となる\lambda(固有値)および\vec{x}(固有ベクトル)を導き出す。

 

さらに、以下の固有値分解が成立する。

A = V \Lambda V^{-1}

\Lambda = \begin{bmatrix}\lambda_{1} & & \\ & \lambda_{2} & \\ & & \ddots \end{bmatrix}　固有値を対角に並べた行列

V = \biggl(\vec{v_{1}} \quad \vec{v_{2}} \quad \cdots \biggr)　固有ベクトルを並べた行列

 

 簡単な例題をやってみる。

A = \begin{bmatrix} 8 & 1 \\ 4 & 5 \end{bmatrix}

|A- \lambda I| = 0 より、(8- \lambda)(5- \lambda)-4 = 0

\lambda^{2} - 13\lambda +36 = (\lambda-9)(\lambda-4) = 0　なので、\lambda = 4, 9

\lambda = 4の固有ベクトルは \vec{x}= t \begin{bmatrix} 1 \\ -4 \end{bmatrix}、

\lambda = 9の固有ベクトルは \vec{x}= t \begin{bmatrix} 1 \\ 1 \end{bmatrix}　　※t \neq 0

よって、固有値分解の式は以下の通り。

A = \begin{bmatrix} 1 & 1 \\ -4 & 1 \end{bmatrix} \begin{bmatrix} 4 & 0 \\ 0 & 9 \end{bmatrix} \begin{bmatrix} 1 & 1\\ -4& 1 \end{bmatrix}^{-1}

 

〇後記

　初めて本格的にはてなブログで書いた。一般的な数式の記述はTexのおかげですいすいだったが、行列の記述に異様に手間取った。一番簡単と思われる、「見たままモード」だと、Texの列区切である"&"を記述するとamp;なる変な文字がついてきてしまう。調べまくった結果、「はてなモード」では、そのような不具合が出ないというので、「はてなモード」へ切り替えてしまった。(先人も同じような所で苦労をされてました)
　なんだかんだ言って、全部で2時間以上かかった。先が思いやられる。

第一歩

今日から約20年ぶりにHPを始めます。

 

きっかけは、ディープラーニングE検定の受験資格を取るべく、

投資したラビットスタートの学習要件で勉強したことをレポートに

まとめてブログ等で発信する必要があるため。

51歳、大変です。

ちょっと楽しくないが、ラビットスタートが終わったら、

何か趣味のことや興味が湧いたことなど発信できればいいかな、と思っている。

このブログを通じて、新しい出会いや経験ができたらハッピーです。

 

とりあえず、以下に数式記載の練習。未だにこの世界では、Texのフォーマットが

継承されているんだね。

 

{\displaystyle \begin{eqnarray} \left\{ \begin{array}{l} x + y = 10 \\ 2x + 4y = 32 \end{array} \right. \end{eqnarray} }