必读论文 | 卷积神经网络百篇经典论文推荐

本文摘要：作为深度学习的代表算法之一，卷积神经网络（Convolutional Neural Networks，CNN）在盘算机视觉、分类等领域上，都取得了当前最好的效果。卷积神经网络的前世今生卷积神经网络的生长，最早可以追溯到 1962 年，Hubel 和 Wiesel 对猫大脑中的视觉系统的研究。

作为深度学习的代表算法之一，卷积神经网络（Convolutional Neural Networks，CNN）在盘算机视觉、分类等领域上，都取得了当前最好的效果。卷积神经网络的前世今生卷积神经网络的生长，最早可以追溯到 1962 年，Hubel 和 Wiesel 对猫大脑中的视觉系统的研究。1998 年，著名盘算机科学家 Yann LeCun 在论文 Gradient-Based Learning Applied to Document Recognition 中提出了 LeNet-5，将 BP 算法应用到神经网络结构的训练上，形成了今世卷积神经网络的雏形。

直到 2012 年，AlexNet 网络泛起之后，神经网络开始崭露头角。在 Imagenet 图像识别大赛中，Hinton 组的论文 ImageNet Classification with Deep Convolutional Neural Networks 中提到的 Alexnet 引入了全新的深层结构和 dropout 方法，一下子把 error rate 从 25% 以上提升到了 15%，一举颠覆了图像识别领域。

今后卷积神经网络声名大噪并蓬勃生长，广泛用于各个领域，在许多问题上都取得了当前最好的性能。2015 年深度学习领域的三巨头 LeCun、Bengio、Hinton 在 Nature 上揭晓一篇综述文章 Deep Learning，系统地总结了深度学习的生长前世今生。在 2016 年，CNN 再次给人们一个惊喜：谷歌研发的基于深度神经网络和搜索树的智能机械人“AlphaGo”在围棋上击败了人类，更惊喜的是谷歌在 Nature 专门揭晓了一篇文章来解释 AlphaGo，文章名字为 Mastering the game of Go with deep neural networks and tree search。

随后使用了 ResNet 和 Faster-RCNN 的思想，一年后的 Master 则完虐了所有人类围棋妙手，到达神一般的境界，人类棋手毫无胜机。厥后又有许多复现的开源围棋 AI，每一个都能用不大的盘算量吊打所有的人类妙手。

可以说，卷积神经网络是深度学习算法应用最乐成的领域之一。卷积神经网络百篇经典论文研读卷积神经网络的经典论文，对于学习和研究卷积神经网络必不行缺。凭据相关算法，AMiner 从人工智能领域国际顶会/期刊中提取出“卷积神经网络”相关关键词，筛选并推荐了 100 篇经典必读论文。

这 100 篇论文大多揭晓于 2015 年至 2019 年间，主要揭晓在 CVPR、ICCV、ICML、NeuIPS 等盘算机视觉顶级学术集会上。在该领域揭晓论文最多的学者中，“神经网络之父”、“深度学习鼻祖”Hinton 与 Bengio 双双上榜，为深度学习研究连续孝敬了气力。根据这 100 篇经典论文的被引用量，我们挑选了其中的 TOP10 作简朴评述。

Fully Convolutional Networks for Semantic Segmentation（CVPR2015）引用量：13136论文作者：Jonathan Long，Evan Shelhamer，Trevor Darrell作者单元：UC Berkeley论文地址：https://static.aminer.cn/upload/pdf/program/5550415c45ce0a409eb3aa1e_0.pdf本篇论文是神经网络大神 Jonathan Long 与他的博士同学 Evan Shelhamer、导师 Trevor Darrell 的代表作，获得了 CVPR 2015 年最佳论文奖。该文的焦点孝敬，在于提出了全卷积网络（FCN）的观点，它是一种可以接受任意巨细图像并输出与输入等大的图像的全卷积神经网络。Convolutional Neural Networks for Sentence Classification（EMNLP 2014)引用量：5978论文作者：Yoon Kim作者单元：纽约大学论文地址：https://static.aminer.org/pdf/20160902/aclanthology/EMNLP/EMNLP-2014-11740.pdf2012 年在深度学习和卷积神经网络成为图像任务明星之后， 2014 年 TextCNN 降生于世，成为了 CNN 在 NLP 文天职类任务上的经典之作。

TextCNN 提出的目的在于，希望将 CNN 在图像领域中所取得的成就复制于自然语言处置惩罚 NLP 任务中。TextCNN 是一种接纳卷积神经网络（CNN）提取文本 n-gram 特征，最大池化，全毗连然后举行分类的一种新型模型。

它在其时对文天职类 SVM 老大的位置提出了挑战，虽然其时 TextCNN 模型效果没有完全凌驾 SVM，但 CNN 的热潮使得 TextCNN 极受追捧，成为 NLP 文天职类任务的经典模型。Large-Scale Video Classification with Convolutional Neural Networks（CVPR2014）引用量：4145论文作者：Andrej Karpathy，George Toderici，Sanketh Shetty，Thomas Leung，Rahul Sukthankar，Li Fei-Fei作者单元：谷歌，斯坦福大学论文地址：https://static.aminer.org/upload/pdf/761/653/303/5550460645ce0a409eb5b6e2.pdf该文研究了多种方法来扩展 CNN 在时域上的连通性，以使用局部时空信息，作者提出一个多分辨率、新颖的框架的方式来加速训练（盘算效率）。3.将从自建数据库学习到的 CNN 结构迁移到 UCF-101 数据集上面。

作者提出的模型与单帧模型相比性能有了显著提升，为此作者进一步研究了其中体现最佳的模型的泛化能力，即通过在 UCF-101 数据集上重新训练顶层，相比基准模型性能显著改善。How transferable are features in deep neural networks? （NIPS 2014)引用量：3414论文作者：Jason Yosinski，Jeff Clune，Yoshua Bengio，Hod Lipson作者单元：卡耐基梅隆大学，怀俄明大学，蒙特利尔大学论文地址：https://static.aminer.org/pdf/20160902/web-conf/NIPS/NIPS-2014-3319.pdf本文是 Bengio 团队关于迁移学习（Transfer Learning）的研究，文章通过研究特征的可迁移性来对这个从泛化的特化的历程举行评估，对于研究深度神经网络特征的可迁移性具有重要意义。

本文实验了深度神经网络中差别层神经元的泛化性能和特异性，模型的迁移能力主要受到两个因素的影响：1）深度模型在越深的层，其专业性（specialization）越强，即越只能完成特定任务，这使得深度模型学习到的深层特征迁移性很差；2）模型在优化历程中，层与层之间的参数的优化是有关联性，当牢固浅层的权值，来训练高层权值时，会打破这种关联性，使得模型的能力变差，泛化能力也变差。上述两个问题在深度神经网络的差别层发生占比纷歧样。文章还证明晰使用训练好的迁移特征，初始化一个新网络，岂论初始化几层，都能够对增强模型起到最终的效果。

Learning Spatiotemporal Features with 3D Convolutional Networks（ICCV2015）引用量：2711论文作者：Du Tran，Lubomir Bourdev，Rob Fergus，Lorenzo Torresani，Manohar Paluri作者单元：Facebook，达特茅斯学院论文地址：https://static.aminer.cn/upload/pdf/program/573696f46e3b12023e5f12ae_0.pdf这篇文章先容了在大规模有监视的视频数据集下,训练出了一种简朴且高效的三维卷积神经网络的方法来学习时空特征。3D ConvNets 的特征将与视频中的工具、场景和行动相关的信息封装起来，使其对种种任务有用，而无需为每个任务分配模型。3D 卷积网络的优势有三点：1）同2D 卷积网络相比，3D 卷积网络更适适时空特征的学习；2）3D 卷积网络的每一层的卷积核的结构是齐次的，而且在许多结构中都适用；3）将学到的特征成为 C3D，带有一个简朴的线性分类器，在 4 个差别的 benchmarks 上测试都实现了最好的性能，而且在另外的 2 个 benchmarks 上与现在的最好的方法相媲美。

SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation引用量：2373论文作者：Vijay Badrinarayanan，Alex Kendall，Roberto Cipolla作者单元：剑桥大学论文地址：https://static.aminer.cn/upload/pdf/1123/1005/1713/573696056e3b12023e51921c_0.pdf本文提出了一种用于像素级语义支解的深度全卷积神经网络结构 SegNet。SegNet 的创新点在于译码器对输入的低分辨率特征图的上采样处置惩罚方式。详细来讲，解码器使用在 max-pooling 历程中盘算的池化 indices，盘算对应的编码器的非线性上采样。

这个操作就省去了上采样历程的学习。上采样后的 map 是稀疏的，再用可学习的 filter 通过卷积盘算浓密的特征图。作者比力了文中的结构与 FCN、DeepLab-LargeFOV 和 DeconvNet 结构。

由于SegNet 的设计初衷泉源于场景明白（scene understanding），因此在内存和盘算时间上效率很高，可学习参数量也比其他结构小，可以用 SGD 端到端训练。在门路场景和 SUN RGB-D 室内场景下举行了排名。XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks（ECCV2016）引用量：1713论文作者：Mohammad Rastegari，Vicente Ordonez，Joseph Redmon，Ali Farhadi作者单元：艾伦人工智能研究所，华盛顿大学论文地址：https://static.aminer.cn/upload/pdf/905/1507/678/573696026e3b12023e516748_0.pdf该文针对尺度卷积神经网络提出了两种有效的近似网络：二元权重网络和 XNOR 网络。

二元权重网络中，卷积核用两个值来近似表现，从而节约 32 倍的存储空间。在 XNOR 网络中，卷积核和卷积层输入都是用两个值（1 和 -1）表现的。XNOR 网络主要使用二元运算举行卷积运算。

这使得卷积操作速度提高了 58 倍，节约了 32 倍的内存。XNOR 网络实现了在 CPU（而不是 GPU）上实时运行最先进网络的可能。我们的二元权值网络简朴、准确、高效，而且能够处置惩罚具有挑战性的视觉任务。我们在 ImageNet 分类任务上评估我们的方法。

AlexNet 二元权值版本的分类准确性与全精度 AlexNet 相同。我们将我们的方法与最近的网络二值化方法 BinaryConnect 和 BinaryNets 举行比力，而且在 ImageNet 上以大幅优势胜过这些方法，凌驾了 top-1 16％ 的精度。Character-level Convolutional Networks for Text Classification（NIPS2015）引用量：1701论文作者：Xiang Zhang，Junbo Zhao，Yann LeCun作者单元：纽约大学论文地址：https://static.aminer.org/pdf/20160902/web-conf/NIPS/NIPS-2015-3429.pdf在这篇论文中，作者将字符级的文本看成原始信号，而且使用一维的卷积神经网络来处置惩罚它。研究讲明，单词嵌入表现可以直接用于卷积神经网络，而无需思量语言的语法或语义结构。

作者发现，当训练大规模数据集时，深度卷积神经网络并不需要单词层面的意义（包罗语言的语法和语义），这是很是激感人心的工程简化，因为不管什么语言，它都是由字符组成的，因此这对于构建跨语言的系统至关重要。另有一个利益，对于异常的字符组成（好比拼写错误）和心情符，该模型依然能够应付。

Towards End-To-End Speech Recognition with Recurrent Neural Networks（ICML2014）引用量：1339论文作者：Alex Graves，Navdeep Jaitly作者单元：DeepMind，多伦多大学论文地址：https://static.aminer.org/pdf/20160902/web-conf/ICML/ICML-2014-1405.pdf本文提出了一种语音识别系统，该系统不需要中间语音表现，直接用文本对音频数据举行转录。该系统是基于深度双向 LSTM 递归神经网络结构和毗连主义者的时间分类目的函数相联合的。引入了目的函数的修正，训练网络最小化任意转录损失函数的期望。

这允许对单词错误率举行直接优化，纵然在没有词汇或语言模型的情况下也是如此。该系统在没有先验语言信息的《华尔街日报》语料库中实现了 27.3% 的错误率，在只使用允许单词的词典的情况下实现了 21.9% 的错误率，在使用 trigram 语言模型的情况下实现了 8.2% 的错误率。

将网络与基线系统相联合进一步将错误率降低到 6.7%。DRAW: A Recurrent Neural Network For Image Generation（ICML 2015）引用量：1186论文作者：Karol Gregor,Ivo Danihelka,Alex Graves,Danilo Jimenez Rezende,Daan Wierstra作者单元：Google DeepMind论文地址：https://static.aminer.cn/upload/pdf/program/573696ce6e3b12023e5cecfc_0.pdf本文出自 Google DeepMind 实验室，先容了一种可应用于图像生成的 Deep Recurrent Attentive Writer（DRAW）神经网络模型，此模型能够生成高质量的自然图像，并提高了当前在 MNIST 数据集上生成模型体现的最好水平。此外，使用 SVHN 数据集训练的 DRAW 模型生成的图片，裸眼无法分辨其与真实数据的区别。

本文关键词：必读,论文,开云app官网下载入口,卷积,神经网络,百篇,经典,推荐

本文来源：开云app官网下载入口-www.fszpdz.com