如何开始深度学习之旅

如果你仍然是深度学习的新手，你可能会问的第一个问题是“我应该从哪篇文章开始读？”在G上，S准备了深度学习的阅读清单，这个清单随时更新。

项目地址:

该清单基于以下四项原则:

从整体轮廓到细节

从过去到现在

从一般领域到特定领域

专注于目前最先进的技术

你会发现许多论文非常新，但非常值得一读。我会不断更新这份名单。

1，深度学习的历史和基础知识

1.0本书

[0]本吉奥、约舒厄、伊恩·古德菲勒和亚伦·库维尔。深度学习，麻省理工学院出版社的书。(2015).(这是深度学习领域的圣经。你可以在阅读这本书的同时阅读以下论文。).

1.1调查类别:

[1]勒昆、扬恩、约舒阿·本吉奥和杰弗里·辛顿。深度学习，自然521.7553(2015):436-444。(深度学习三大牛对各种学习模型的评价)

1.2深度信念网(DBN)(深度学习前夜的里程碑)

[2] Hinton，Geoffrey E .，Simon Osindero和Yee-Whyeteh。深度信念网络的快速学习算法(深度学习的前夜)。

[3]辛顿、杰弗里·e和鲁斯兰·萨拉胡季诺夫。用神经网络降低数据的维度，(里程碑式的论文，论证深度学习的可靠性)

1.3 ImageNet的进化(深度学习从这里开始)

克里日夫斯基、亚历克斯、伊利亚·苏茨基弗和杰弗里·e·辛顿。深度卷积神经网络的ImageNet分类(Alex Net，深度学习的突破)。

[5]西蒙扬、卡伦和安德鲁·齐泽曼。用于大规模图像识别的非常深的卷积网络(VG Net，神经网络正在变得非常深！)

[6] Szegedy，Christian等人，深入研究卷积(Google Net)

[7]何，，等.用于图像识别的深度残差学习(RESNET，超深度网络！CVPR - IEEE计算机视觉和模式识别国际会议-最佳论文)

1.4语音识别的演进

用于语音识别声学建模的深度神经网络:四个研究小组的共同观点。

格雷夫斯，亚历克斯，阿卜杜勒拉赫曼穆罕默德，杰弗里辛顿。深度递归神经网络(RNN)语音识别。

格雷夫斯、亚历克斯和纳夫迪普·杰特利。用递归神经网络实现端到端语音识别。

[11]萨克，哈？用于语音识别的快速精确递归神经网络声学模型(语音识别系统)。

[12] Amodei，Dario等《深度语音2:英语和普通话的端到端语音识别》(百度语音识别系统)。

[13] W. Xiong，J. Droppo，X. Huang，F. Seide，M. Seltzer，A. Stolcke，D. Yu，G. Zweig，在对话语音识别中实现人的平等。

看完上面给出的论文，你会对深度学习的历史、深度学习建模的基本框架(包括CNN、RNN和LSTM)以及深度学习如何应用于图像和语音识别有一个基本的了解。下面的论文会让你深入了解深度学习的方法，不同应用领域的深度学习技术及其局限性。

2深度学习方法

2.1模型

[14] Hinton、Geoffrey E .等人，通过避免* * *特征检测器的自适应来防止特征检测器的共同自适应(丢失)，从而改进神经网络。

[15] Srivastava，Nitish等.辍学:防止神经网络过拟合的简单方法。

约夫、谢尔盖和克里斯蒂安·塞格迪。批量归一化:通过减少内部协变量移位加速深度网络训练(2015优秀论文)。

Ba，Jimmy Lei，Jamie Ryan Kiros和Geoffrey E. Hinton。图层规范化(批量规范化的升级版)。

[18] Courbriaux，Matthieu等.二进制神经网络:训练神经网络的权值和激活被约束为正1或负1(二进制神经网络:训练神经网络的权值和激活被约束为+1或？1)(新型号，快)

[19] Jaderberg，Max等人使用合成梯度解耦神经接口(训练方法的发明，惊人的文章)。

[20]陈、田琦、伊恩·古德菲勒和黄邦贤·施伦斯。Net2net:通过知识转移加速学习(修改之前的训练网络，减少训练)。

[21]魏，陶，等.网络形态学(修改先前的训练网络以减少训练历元)

2.2优化

[22] Sutskever，Ilya，et al .关于深度学习中初始化和动量的重要性(动量因子优化器)。

[23]金玛、迪耶德里克和吉米巴。Adam:随机优化的一种方法(可能是现在最常用的方法)。

[24] Andrychowicz，Marcin等.通过梯度下降学习(神经优化器，惊人的工作)。

[25]韩、宋、惠子茂和威廉·戴利。深度压缩:通过剪枝、量化训练、哈夫曼编码，用剪枝压缩深度神经网络。受过训练的量化和霍夫曼编码)(ICLR最好的论文，来自DeePhi technology startup，加速NN运算的新方向)

Iandola，Forrest N .等人的挤压网:AlexNet级精度，参数少50倍，模型大小小于1MB(挤压网:Alex Net级精度，50倍幂参数和

2.3无监督学习/深度生成模型

[27] le，quoc v .使用大规模无监督学习构建高级特征(milestone，，Google brain，cat)。

[28] King Ma、Diederik P .和Max Welling。自动编码变量贝叶斯(VAE)。

[29] Goodfellow，Ian，等.生成性防御网.(甘，好主意)

拉德福德，亚历克，卢克梅斯，和苏史密斯钦塔拉。深度卷积生成逆向网络的无监督表示学习(DC甘)。

[31]格雷戈、凯罗尔等人绘制:用于图像生成的递归神经网络(著名的VAE，杰出的工作)。

Oord，aaron van den，nal kalchbrenner和koray kavukcuoglu。像素递归神经网络(像素RNN)

Oord，Aaron Van den等,《使用像素CNN解码器的条件图像生成》。

2.4 RNN//序列对序列模型

[34]亚历克斯·格雷夫斯。用递归神经网络生成序列(LSTM，非常好的生成结果，显示了RNN的力量)。

使用统计机器翻译的RNN编码器-解码器学习短语表示。

[36] Sutskever，Ilya，Oriol Vinyals和Quoc诉Le。用神经网络进行序列对序列学习(杰出的工作)。

Bahdanau，Dzmitry，Kyung Hyuncho和Yoshua Bengio。通过联合学习对齐和翻译来匹配和翻译神经机器翻译。

[38] Vinyals、Orion和quocle。神经对话模型(聊天机器人上的序列对序列)。

2.5神经图灵机

格雷夫斯，亚历克斯，格雷格韦恩和伊沃丹尼尔卡。神经图灵机。ARXIV预印本ARXIV:1410.541(2014)。(未来计算机的基本原型)

扎伦巴、沃伊切赫和伊利亚·苏茨基弗。强化学习神经图灵机。

韦斯顿、杰森、苏米特·乔普拉和安托万·博德斯。记忆网络。

苏赫巴托尔、塞恩·巴亚尔、杰森·韦斯顿和罗布·弗格斯。端到端存储网络。

[43] Vinyals、Oriol、Meire Fortunato和Navdeep Jaitly。指针网络。

[44] Graves，Alex等人，使用具有动态外部存储器的神经网络的混合计算(里程碑，结合了上述论文的思想)。

2.6深度强化学习

[45] Mnih，Volodymyr等用深度强化学习玩雅达利(第一篇以深度强化学习命名的论文)。

[46] Mnih，Volodymyr等,《通过深度强化学习进行人类水平的控制》(里程碑)

[47]王、、南多·德弗雷塔斯和马克·兰托特。深度强化学习的决斗网络架构(ICLR的最佳论文，伟大的想法)。

[48] Mnih，Volodymyr等.深度强化学习的异步方法(目前最先进的方法)。

[49] Lillicrap，Timothy P .等,《深度强化学习的连续控制》( DDPG)。

顾，，等.基于模型加速的连续深度q学习.

[51]舒尔曼，约翰等，信任区域策略优化(TRPO)。

[52] Silver，David，等人用深度神经网络和树搜索(阿尔法狗)掌握围棋游戏。

2.7深度迁移学习/终身学习/尤其是针对RL

[53]本吉奥，约舒阿。无监督和转移学习的表示的深度学习(教程)。

[54]西尔弗、丹尼尔·l、杨强和李良浩。终身机器学习系统:超越学习算法(终身学习简论)。

辛顿、杰弗里、奥利安·维尼亚尔斯和杰夫·迪恩。区分神经网络中的知识(教父的工作)。

[56]鲁苏、安德烈·a等，《政策的升华》。)(RL域)

[57] Parisotto，Emilio，Jimmy Leiba和Ruslan Salakhutdinov。演员模仿:深度多任务和迁移强化学习。(RL字段)

[58]鲁苏、安德烈·a .等,《渐进神经网络》(杰出的工作，全新的工作)。

2.8一次性深度学习

[59]莱克、布伦登·m .、鲁斯兰·萨拉赫丁诺夫和约书亚·特南鲍姆。通过概率程序介绍进行人类级别的概念学习(不是深度学习，但值得一读)。

科赫、格雷戈里、理查德·泽梅尔和鲁斯兰·萨拉胡季诺夫。用于一次性图像识别的双神经网络。

[61]桑托罗、亚当等.用记忆增强神经网络进行一次性学习(一次性学习的基本步骤)。

[62] Vinyals，Oriol等人，《一次性学习的匹配网络》。

63 Hariharan，Bharath和Ross Girshik。低镜头视觉物体识别(迈向大数据的一步)

3应用

3.1自然语言处理

[1] Antoine Borders等人，用于开放文本语义分析的单词和意义表示的联合学习。

[2] Mikolov等.单词和短语及其组合的分布式表示(Word2Vec)

[3] Sutskever等人用神经网络进行序列对序列学习。

[4] Ankit Kumar等著《什么都问我:什么都问我:自然语言处理的动态记忆网络》。

[5] Yoon Kim，et al .字符意识神经语言模型。

[6] Jason Weston等著《走向人工智能——问题的答案:一组先决玩具任务(Babi tasks)》。

[7]卡尔·莫里茨·赫尔曼等，《教机器阅读和综合》(CNN/每日邮报格式塔风格)

Alexis Conneau，et al .用于自然语言处理的非常深度的卷积网络(目前在文本分类中是最好的)。

[9] Armand Joulin，et al. Trick package用于高效的文本分类(几乎比最好的好，但快得多)。