Book list of Deep learning

---

2018年ごろに以下2冊が入門本として勉強しました。

• 深層学習(岡谷 貴之 著)　2015年
• ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装(斎藤 康毅　著)　2016年

CNNの基本

---

Loss関数

Neural Networkは最適なパラメータ(Weightとbias)を見つけるため、学習で損失関数が最小値を取るとき

• 2乗和誤差
  
• クロースエントロピー誤差
  

パラメータ更新

https://github.com/j-w-yun/optimizer-visualization

SGD(確率的勾配降下法)

Momentum

1. 勾配の累積 (モメンタム更新):
   

2. パラメータの更新:
   

AdaGrad

1. 勾配の累積二乗和:
   

2. パラメータの更新:
   

Adam

1. 勾配の移動平均 (モーメント計算):
   

2. バイアス補正:
   

3. パラメータの更新:
   

正則化

モデルが過学習（オーバーフィッティング）するのを防ぐため目的にパラメータに何らかの制約を課すことです
よく使われる正則化手法は以下です。

制約付き最適化(KKT条件から導く)

L2正則化(Ridge回帰)

寄与が小さい重みを抑える

L1正則化(Lasso回帰)

寄与が小さい重みをゼロにする

Dropout

データ拡張

Early Stopping

バッチ正則化

Dataset

画像

• MNIST
• ImageNet
• COCO2017
• Cityscapes
• KITTI
• nuScenes
• Megaface
• WaymoOpen

音声

• LibriSpeech
• AudioSet
• Common Voice

Early models

モデル	発表年	学会または発表場所	論文タイトル	URL
AlexNet	2012	NIPS 2012 (現NeurIPS)	ImageNet Classification with Deep Convolutional Neural Networks	AlexNet
VGG16	2014	arXiv (未発表)	Very Deep Convolutional Networks for Large-Scale Image Recognition	VGG16
GoogLeNet	2014	CVPR 2015 (2014年発表)	Going Deeper with Convolutions	GoogLeNet
ResNet	2015	CVPR 2016 (2015年発表)	Deep Residual Learning for Image Recognition	ResNet
DenseNet	2016	CVPR 2017 (2016年発表)	Densely Connected Convolutional Networks	DenseNet

Application models

Detection

論文名	発表時間	発表者	発表組織	URL
R-CNN	2013/11	Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik	UC Berkeley	link
Fast R-CNN	2015/04	Ross Girshick	Microsoft Research	link
Faster R-CNN	2015/06	Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun	Microsoft Research	link
YOLO	2015/06	Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi	University of Washington, Allen Institute for AI	link
SSD	2015/12	Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg	Google Research, University of North Carolina, Chapel Hill	link
RetinaNet	2017/08	Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár	Facebook AI Research	link
YOLOv3	2018/4	Joseph Redmon, Ali Farhadi	University of Washington, Allen Institute for AI	link
CenterNet	2019/05	Xingyi Zhou, Dequan Wang, Philipp Krähenbühl	UT Austin	link
YOLOv4	2020/04	Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao	Independent & Academia Sinica	link
YOLOv5	2020/10	Ultralytics Team	Ultralytics	link
EfficientDet	2020/03	Mingxing Tan, Ruoming Pang, Quoc V. Le	Google Research	link
DETR	2020/05	Nicolas Carion, Francisco Massa, Gabriel Synnaeve, et al.	Facebook AI Research	link
Deformable DETR	2020/10	Xiaohang Zeng, Xizhou Zhu, Yue Cao, et al.	Microsoft Research Asia	link

Segmentation

論文名	発表時間	発表者	発表組織	URL
FCN	2014/11	Jonathan Long, Evan Shelhamer, Trevor Darrell	UC Berkeley	link
U-Net	2015/05	Olaf Ronneberger, Philipp Fischer, Thomas Brox	University of Freiburg	link
SegNet	2015/11	Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla	University of Cambridge	link
DeepLab	2016/06	Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, Alan L. Yuille	Google DeepMind & University of Maryland	link
PSPNet	2016/12	Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, Jiaya Jia	Chinese University of Hong Kong	link
Mask R-CNN	2017/03	Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick	Facebook AI Research	link
DeepLabv3	2017/09	Liang-Chieh Chen, George Papandreou, Florian Schroff, Hartwig Adam	Google Research	link
Semantic FPN	2018/02	Xiaoxiao Li, Ross Girshick, Kaiming He, Piotr Dollár	Facebook AI Research	link
DeepLabv3+	2018/03	Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, Hartwig Adam	Google Research	link
HRNet	2019/04	Jingdong Wang, Ke Sun, Tianheng Cheng, Borui Jiang, Chaorui Deng, et al.	Microsoft Research Asia	link
DETR	2020/05	Nicolas Carion, Francisco Massa, et al.	Facebook AI Research	link
ViT (Vision Transformer)	2020/06	Alexey Dosovitskiy, Lucas Beyer, et al.	Google Research	link
PointRend	2020/03	Alexander Kirillov, Yuxin Wu, Kaiming He, Ross Girshick	Facebook AI Research	link
Swin Transformer	2021/03	Ze Liu, Yutong Lin, Yue Cao, et al.	Microsoft Research Asia	link
SegFormer	2021/06	Enze Xie, Wenhai Wang, Zhiding Yu, Anima Anandkumar, Jose M. Alvarez, Ping Luo	CUHK & NVIDIA Research	link
Swin-UNet	2021/07	Hu Cao, Yue Cao, Zheng Zhang, Ming-Hsuan Yang, Ran He, Jian Yang	Nanjing University of Science and Technology	link
MaskFormer	2021/10	Bowen Cheng, Alex Schwing, Alexander Kirillov	Facebook AI Research	link
Segment Anything	2023/04	Alexander Kirillov, Eric Mintun, et al.	Meta AI	link