1.勾配消失問題 勾配消失問題とは、「誤差逆伝播法が下位層に進んでいくに連れて、勾配がどんどん緩やかになっていくため、勾配降下法による更新では下位層のパラメータはほとんど変わらず、訓練は最適値に収束しなくなる」現象を指す。活性化関数にシグモイ…

0.ニューラルネットワークの構成 ディープラーニングの目的は重みとバイアスを最適化して、誤差を最小化するパラメータを発見すること。そのk本的な構成がニューラルネットワークである。 ニューラルネットワーク(入力：2ノード1層、中間層：3ノード2層、出…

1.主成分分析 相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。データにもよるが、分散が大きい主成分を選択することで少ない次元のデータで元のデータの特徴を表現すること…

1.回帰問題 回帰問題とは、ある入力から出力の値を予測する問題を指す。機械学習の世界では、回帰問題と分類問題に大きく分かれる。 回帰問題の中でも、関数の勉強で中学で最初に出てくる1次関数の形で推定するものを線形回帰問題と言う。 線形回帰モデル-Bo…

情報理論について、学習した。 そもそも情報理論とは、「情報・通信を数学的に論じる学問。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。」である。 学習内容は…

確率・統計の分野に入った。 項目としては以下の通り ・条件付き確率 ・ベイズ則 ・期待値、分散の求め方 ・様々な確率分布の概要 ここでは、条件付き確率とベイズ則について整理したい。 条件付き確率は、ある事象が起こったときに別の事象が起こる確率を意…

ここでは線形代数を学習する。前半は行列の加減、積、逆行列など高校の数学レベルだが、後半に出てくる固有値は機械学習の主成分分析のベースとなる考え方だ。 ※：正方行列 より となる(固有値)および(固有ベクトル)を導き出す。 さらに、以下の固有値分解が…

今日から約20年ぶりにHPを始めます。 きっかけは、ディープラーニングE検定の受験資格を取るべく、 投資したラビットスタートの学習要件で勉強したことをレポートに まとめてブログ等で発信する必要があるため。 51歳、大変です。 ちょっと楽しくないが、ラ…