深度学习现在坑还多吗？

01-15

谢谢，最近准备换方向，想入这个坑，求指导

要说深度学习还有什么坑，就要看看目前的深度学习都从哪些方面去研究。个人觉得当前深度学习领域的学术研究可以包含四部分：优化（Optimization），泛化（Generalization），表达（Representation）以及应用（Applications）。除了应用（Applications）之外每个部分又可以分成实践和理论两个方面。

优化（Optimization）：深度学习的问题最后似乎总能变成优化问题，这个时候数值优化的方法就变得尤其重要。

从实践方面来说，现在最为推崇的方法依旧是随机梯度递减，这样一个极其简单的方法以其强悍的稳定性深受广大研究者的喜爱，而不同的人还会结合动量（momentum）、伪牛顿方法（Pseudo-Newton）以及自动步长等各种技巧。此外，深度学习模型优化过程的并行化也是一个非常热的点，近年在分布式系统的会议上相关论文也逐渐增多。

在理论方面，目前研究的比较清楚的还是凸优化（Convex Optimization），而对于非凸问题的理论还严重空缺，然而深度学习大多数有效的方法都是非凸的。现在有一些对深度学习常用模型及其目标函数的特性研究，期待能够发现非凸问题中局部最优解的相关规律。

泛化（Generalization）：一个模型的泛化能力是指它在训练数据集上的误差是否能够接近所有可能测试数据误差的均值。泛化误差大致可以理解成测试数据集误差和训练数据集误差之差。在深度学习领域变流行之前，如何控制泛化误差一直是机器学习领域的主流问题。

从实践方面来说，之前许多人担心的深度神经网络泛化能力较差的问题，在现实使用中并没有表现得很明显。这一方面源于大数据时代样本巨大的数量，另一方面近年出现了一些新的在实践上比较有效的控制泛化误差（Regularization）的方法，比如Dropout和DropConnect，以及非常有效的数据扩增（Data Agumentation）技术。是否还有其它实践中会比较有效的泛化误差控制方法一直是研究者们的好奇点，比如是否可以通过博弈法避免过拟合，以及是否可以利用无标记（Unlabeled）样本来辅助泛化误差的控制。

从理论方面来说，深度学习的有效性使得PAC学习（Probably Approximately Correct Learning）相关的理论倍受质疑。这些理论无一例外地属于“上界的上界”的一个证明过程，而其本质无外乎各种集中不等式（Concentration Inequality）和复杂性度量（Complexity Measurement）的变种，因此它对深度学习模型有相当不切实际的估计。这不应该是泛函理论已经较为发达的当下出现的状况，因此下一步如何能够从理论上分析深度学习模型的泛化能力也会是一个有趣的问题。而这个研究可能还会牵涉表达（Representation，见下）的一些理论。

表达（Representation）：这方面主要指的是深度学习模型和它要解决的问题之间的关系，比如给出一个设计好的深度学习模型，它适合表达什么样的问题，以及给定一个问题是否存在一个可以进行表达的深度学习模型。

这方面的实践主要是两个主流，一方面那些笃信无监督学习（Unsupervised Learning）可行性的研究者们一直在寻找更好的无监督学习目标及其评价方法，以使得机器能够自主进行表达学习变得可能。这实际上包括了受限波尔兹曼模型（Restricted Boltzmann Machine），稀疏编码（Sparse Coding）和自编码器（Auto-encoder）等。另一方面，面对实际问题的科学家们一直在凭借直觉设计深度学习模型的结构来解决这些问题。这方面出现了许多成功的例子，比如用于视觉和语音识别的卷积神经网络（Convolutional Neural Network），以及能够进行自我演绎的深度回归神经网络（Recurrent Neural Network）和会自主玩游戏的深度强化学习（Reinforcement Learning）模型。绝大多数的深度学习研究者都集中在这方面，而这些也恰恰能够带来最大的学术影响力。

然而，有关表达（Representation）的理论，除了从认知心理学和神经科学借用的一些启发之外，几乎是空白。这主要是因为是否能够存在表达的理论实际上依赖于具体的问题，而面对具体问题的时候目前唯一能做的事情就是去类比现实存在的智能体（人类）是如何解决这一问题的，并设计模型来将它归约为学习算法。我直觉上认为，终极的表达理论就像是拉普拉斯幽灵（Laplace"s Demon）一样，如果存在它便无所不知，也因此它的存在会产生矛盾，使得这一理论实际上只能无限逼近。

应用（Applications）：深度学习的发展伴随着它对其它领域的革命过程。在过去的数年中，深度学习的应用能力几乎是一种“敢想就能成”的状态。这当然得益于现今各行各业丰富的数据集以及计算机计算能力的提升，同时也要归功于过去近三十年的领域经验。未来，深度学习将继续解决各种识别（Recognition）相关的问题，比如视觉（图像分类、分割，计算摄影学），语音（语音识别），自然语言（文本理解）；同时，在能够演绎（Ability to Act）的方面如图像文字描述、语音合成、自动翻译、段落总结等也会逐渐出现突破，更可能协助寻找NP难（NP-Hard）问题在限定输入集之后的可行算法。所有的这些都可能是非常好的研究点，能够带来经济和学术双重的利益。

很多，说说我知道的周围人在做的（2016年8月1日）。

1. 深度网络压缩：目的是将权值参数进行量化或者压缩存储，进而减少参数规模。

2. 模型加速：现在出现了更深的网络，但带来的问题是计算效率的下降。这个方向主要从网络架构和实现的角度对模型的计算效率进行提升。

3. 优化：现在在ICML上边关于DL优化的文章很多，如何避免overfiting? 如何加速训练？产生初始参数？这些都是比较热门的研究点。

4. 应用。包括检测、分割、人脸、NLP等，一个好的工作会综合考虑各种各样的因素。

5. 迁移。在CV领域work的模型是否可以应用到其他领域？在一个新领域中基本想法有了，但具体做起来需要解决各种各样的实际问题。

说实话，在每一个子领域，当你深入进去就会发现，坑有很多。

从应用角度来看,NLP是一个重要阵地，Nlp目前还没有像别的领域那样被dl席卷。成效明显的有MT和language model。Speech也很明显但那更偏向信号处理而非语言分析。

DL的representation很吸引人，但是在constituent parsing上，Dan Klein撰文分析认为很难从word embedding得到好处。目前我听到的一些讨论认为这是由于人类对语言现象的解释比较好（向对于图像跟声波），也在此理解上搭了很丰富的理论框架，neural net这种自动学的feature未必占优。

学者对此态度也明显份分阵地，比如Noah Smith经常调侃之，比如称之为derp learning。Chris manning 则大力支持，Michael Jordan 认为现在的成果不显著但此方向值得做。Ed Hovy则认为5年内Deep Learning 将全盘取胜，现在必须做。

我比较倾向于Manning跟Hovy，他们对领域了解很透彻，下的判断是根据长年在领域里面浸淫的经验。两位都是功力深厚的linguistic兼cs专家，“见得多了”，“早已看穿了一切”。Noah则非常执着于神经网络的可解释性，认为其无法理解，但是某种程度的解释在未来应该是有可能的。所以要跳坑请尽早。

2017年来答一下。

从应用的角度来看，深度学习基本已成为实现模式识别、自然语言处理等标配领域的标配技术。并不断的蔓延到人工智能的其他分支。

在两年前，深度学习在NLP领域的应用尚且让人失望，对DL在NLP的应用前景褒贬不一。但是随着研究的进展，借助DL的革新，虽然NLP依然没有像图像、语音等领域达到大规模工业化的应用水平，但是现在NLP的大部分领域，据我观察，基本都离不开DL。包括但不限于内容分类、情感分类、信息抽取、机器翻译、问答系统等经典任务。甚至还让一些传统的NLP任务如句法分析陷入了比较尴尬的地步（传统的NLP要借助语法树来完成各种上层任务，然而深度学习的方法不需要这颗树，那么问题来了，还有没有必要继续研究句法分析？）

其中，神经机器翻译模型在Google的推动下已取得惊人的效果（http://translate.google.cn ），自从去年9月（10月？）Google将统计翻译模型更新为神经翻译模型，在源语言（大众口中的源语言）保证语法比较规整的情况下，目标语言的生成质量经常能达到非翻译专业者的水平，也就是基本满足普通人的需求。（当然，引入噪声的情况下依然容易导致崩盘）

至于深度学习的黑匣子问题，多年前如此，现在当然也是如此，未来相当长的时间内也是如此。可以预见到这个问题将来肯定是个大麻烦，甚至说复杂问题的瓶颈。可以说这是个坑，但这个坑并不妨碍DL的应用和发展。只不过，导致DL的发展和研究不同于历史阶段的研究——现在DL的研究就是在以经验为主，以理论为辅？这种研究方式我觉得是很畸形的，但是是卓有成效的。所以，经常你复现了一个看起来特别厉害的模型，然后一跑数据发现准确度大跌眼镜，然后一个饶有经验的从业者，过来加点这个trick，放点那个trick，然后准确度蹭蹭的提到大跌眼镜的高度。然而若要问他为什么这些trick这么有用？能感性的解释出来就不错了，想用严谨的数学来证明是很稀有的事情。

所以我觉得，2015年还可以认为深度学习的坑比较多，悬疑问题很多，在很多领域的应用前景不明。但是在2017年，研究者们基本已经适应了这种奇怪的技术和奇怪的研究方式。如果还用旧科研思维来看深度学习，试图用数学来解释一切，那么看起来依然都是坑。但是习惯这种奇怪而病态而无可奈何的研究方式后，深度学习倒没有什么坑，只不过你要适应将经验的积累加入到严谨理论中的这个事实。

由于本人是菜鸡，所以不对本文内容负责（逃(//?//)

相当多，一个最基本的无监督学习就够再研究好多年了

能入八路泰坦的话，坑还是很多的。

深度学习在NLP中的应用应该会是未来几年的研究重点，目前深度学习在NLP中仅在个别任务上有实质性的突破，在大部分任务上依然是当做额外的特征在现有系统中使用，带来的收益没有在CV以及speech中那么明显

与图像识别和语音识别任务不同的是，NLP中有大量任务是结构化的，例如：序列标注任务，parsing任务（树结构），甚至更广义的图的学习任务。这也是本人目前的研究重点，即将深度学习应用在结构化学习中。其实这是很自然的一个过渡，从历史上Naive Bayes到HMM，最大熵到CRF，SVM到structure SVM等都是从分类到结构化学习的一个扩展，很自然地，我们也应该能够将深度学习扩展到结构化学习，并期待能够取得一定收益。我目前的实验也证实了这一点，但结构化学习是一个很大的坑，需要更多的学者来研究如果更有效地将深度学习应用到NLP形形色色的结构化学习任务中

深度学习一般地方是搞不起来的。。

前期成本相当之高。

硬件投入，集群计算,数据获取,算法优化，数据调参技巧。每个都是深坑，每个没有个几年积累都是不行的。如果LZ 是学生并且想进一步学习，建议去找个有一定基础的靠谱实验室。如果是纯兴趣。不如就看看paper得了，而且你基本很难复现PAPER中的结果。

最近從我關注的大牛的微博上發的內容來看，深度學習的坑主要是理論上無法證明它為何有效，但是在實際問題上它的確有效。

另外，深度學習開始在NLP上發力了（一開始是在CV方面出來的）。

只要计算机技术还发展不到能硬件复制人类大脑，深度学习研究就有用。

估计将来作家这个职业是要失业的。

理论性的东西，我就不说了

关于机器方面，你可以使用IBM 的supervessel Open Power Lab，做做小实验还是可以的，caffe，tensorflow都可以一键安装。

没有人带入门自己摸索调参是技术活。同意楼上的，没资本不能任性

说句心里话，没坑还要我们这么多做深度学习的人干嘛？

深度学习-图书 - 异步社区http://www.epubit.com.cn/book/details/4278

深度学习这个术语自2006年被正式提出后，在最近10年得到了巨大的发展，它使人工智能产生了革命性的技术突破，让我们切实地领略到人工智能改变人类生活的潜力。受人民邮电出版社的邀请，我的几位学生承担了Goodfellow, Bengio 和 Courville (后续简称他们为GBC)撰写的《Deep Learning》一书翻译工作。原著三位作者一直耕耘于机器学习领域的前沿，引领深度学习的发展潮流。

原著第一章关于深度学习的思想、历史发展等的论述深刻、透彻和精辟，也非常耐人回味。我们在阅读该章时启发良多，大有裨益。因此，我们决定把该章的译稿独立成文，并取名为《深度学习：今生前世》。我们期望把它发布出来和大家分享。由于其篇幅较长，为了方便快速抓住其核心思想，这里我们把其中关键的内容摘录出来，同时把我个人一些的体会也一并呈现给大家。

GBC指出：“人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务，比如识别人们所说的话或图像中的脸。对于这些问题，我们人类往往可以凭直觉轻易地解决”。为了解决这个挑战，他们提出让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念通过与某些相对简单的概念之间的关系定义。由此，GBC给出了深度学习的定义。具体地，“层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张‘‘深’’（层次很多）的图。基于这个原因，我们称这种方法为AI深度学习(deep learning)“。

因此，GBC认为：“深度学习是通向人工智能的途径之一“。而且他们给出深度学习与机器学习之间的关系。GBC认为：”深度学习是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。我们坚信机器学习可以构建出在复杂实际环境下运行的AI系统，并且是唯一切实可行的方法。深度学习是一种特定类型的机器学习，具有强大的能力和灵活性，它将大千世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示）“。

GBC指出：“一般来说，目前为止深度学习已经经历了三次发展浪潮：20 世纪40 年代到60 年代深度学习的雏形出现在控制论(cybernetics) 中，20 世纪80 年代到90 年代深度学习以联结主义(connectionism) 为代表，并于2006 年开始，以深度学习之名复兴“。

谈到深度学习与脑科学或者神经科学的关系，GBC强调：“如今神经科学在深度学习研究中的作用被削弱，主要原因是我们根本没有足够的关于大脑的信息作为指导去使用它。要获得对被大脑实际使用算法的深刻理解，我们需要有能力同时监测（至少是）数千相连神经元的活动。我们不能够做到这一点，所以我们甚至连大脑最简单、最深入研究的部分都还远远没有理解”。值得注意的是，我国正致力于把人工智能和脑科学的交叉学科研究被提到战略地位，计划在”类脑智能“或”脑计算“等方面投入重点资助。且不论我国是否真有既懂人工智能又懂脑科学或神经科学的学者，我们都应该本着务实、理性的求是态度。唯有如此，我们才有可能在这一波人工智能发展浪潮中有所作为，而不是又成为一群观潮人。

进一步地，GBC指出：“媒体报道经常强调深度习与大脑的相似性。的确，深度学习研究者比其他机器学习领域（如核方法或贝叶斯统计）的研究者更可能地引用大脑作为影响，但大家不应该认为深度学习在尝试模拟大脑。现代深度学习从许多领域获取灵感，特别是应用数学的基本内容如线性代数、概率论、信息论和数值优化。尽管一些深度学习的研究人员引用神经科学作为灵感的重要来源，然而其他学者完全不关心神经科学“。的确，对于广大年青学者和一线的工程师们，我们是可以完全不用因不懂神经(或脑)科学而对深度学习、人工智能踯躅不前。数学模型、计算方法和应用驱动才是我们研究人工智能的可行之道。此外，我们诚然可以从哲学层面或角度来欣赏科学问题，但切不能从哲学层面来研究科学问题。

至于谈到人工神经网络在20世纪90年代中期的衰落，GBC分析了其原因。“基于神经网络和其他AI技术的创业公司开始寻求投资，其做法野心勃勃但不切实际。当AI研究不能实现这些不合理的期望时，投资者感到失望。同时，机器学习的其他领域取得了进步。比如，核方法和图模型都在很多重要任务上实现了很好的效果。这两个因素导致了神经网络热潮的第二次衰退，并一直持续到2007 年”。 “其兴也悖焉，其亡也忽焉‘’。这个教训也同样值得当今基于深度学习的创业界、工业界和学术界等的警醒。

最后，GBC总结并展望了深度学习：“深度学习是机器学习的一种方法。在过去几十年的发展中，它大量借鉴了我们关于人脑、统计学和应用数学的知识。近年来，得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，深度学习的普及性和实用性都有了极大的发展。未来几年充满了进一步提高深度学习并将它带到新领域的挑战和机遇”。是的，深度学习、人工智能技术不是在我们头顶而是在我们脚下。

中文初译稿是我学生完成的，之后许多同行给出了大量富有建设性的修改意见，我本人也前后做了多次校对。即使这样，由于我们无论是中文还是英文能力都深感有限，译文还是比较生硬，而且我们特别担心未能完整地传达出原作者的真实思想和观点。因此，我们强烈地建议有条件的读者去读英文原著，也非常期待大家去GitHub指正我们的译文。

张志华 2017年1月25日于北大静园六院

从研究的角度上说坑还有很多，但是目前DL的发展很快，要做cutting-edge的研究的话需要积累较多的工程经验，并不容易。建议楼主可多关注DeepMind的工作，如Neural Turing Machine和Deep Generative Models的一些paper，这些都是被挖出来的大坑。不过大家都知道DL的前景很好，自然竞争也非常激烈，所以其实重点不在坑还剩多少，而是有没有足够的能力和决心走到领域的boundary。

一句话，没钱不能任性

要有敬畏之心。。。

请问深度学习有没有解决本质问题啊?

啊

正在学习中！

显然自然语言处理中海没有真正显示dl的威力，仅仅停留在paper阶段

方向就错了，深度学习做自然语言处理~（个人拙见）