Basic Deep Learning

Book list of Deep learning

---

2018年ごろに以下2冊が入門本として勉強しました。

• 深層学習(岡谷 貴之 著)　2015年
• ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装(斎藤 康毅　著)　2016年

CNNの基本

---

Loss関数

Neural Networkは最適なパラメータ(Weightとbias)を見つけるため、学習で損失関数が最小値を取るとき

• 2乗和誤差
  
• クロースエントロピー誤差
  

パラメータ更新

https://github.com/j-w-yun/optimizer-visualization

SGD(確率的勾配降下法)

Momentum

1. 勾配の累積 (モメンタム更新):
   

2. パラメータの更新:
   

AdaGrad

1. 勾配の累積二乗和:
   

2. パラメータの更新:
   

Adam

1. 勾配の移動平均 (モーメント計算):
   

2. バイアス補正:
   

3. パラメータの更新:
   

正則化

モデルが過学習（オーバーフィッティング）するのを防ぐため目的にパラメータに何らかの制約を課すことです
よく使われる正則化手法は以下です。

制約付き最適化(KKT条件から導く)

L2正則化(Ridge回帰)

寄与が小さい重みを抑える

L1正則化(Lasso回帰)

寄与が小さい重みをゼロにする

Dropout

データ拡張

Early Stopping

バッチ正則化