DL QuickStart

来自Jack's Lab
2017年3月19日 (日) 13:35Comcat (讨论 | 贡献)的版本

跳转到: 导航, 搜索

目录

1 Overview

  • Deep Belief Networks 深度信念网络
  • Restricted Boltzmann Machine 受限波尔兹曼机
  • Stacked Auto-encoders 堆栈式自动编码器


  • Convolutional Neural Networks,CNN,卷积神经网络
  • Recurrent Neural Networks, RNN,循环神经网络


CNN 目前是图像识别最有效也是使用最多的

自然语言处理、语音识别、手写体识别则多用 RNN


https://www.zhihu.com/question/31785984/answer/55063559


Gitbook:



Blog:



2 RNN

http://blog.csdn.net/heyongluoyao8/article/details/48636251

http://rayz0620.github.io/2015/05/14/rnn_note_1/

https://www.zhihu.com/question/34681168



3 Framework

推荐斯坦福的 CS231n 课程

在 Lecture 12 中,JJ 对于几个主流的库的应用情况,优缺点逐个做了详细的说明:


Dl-framwork-compare.png


3.1 Caffe



4 CS231n

知乎智能单元: https://zhuanlan.zhihu.com/intelligentunit


CS231n官方笔记授权翻译总集篇发布







5 OpenAI

从OpenAI看深度学习研究前沿



6 Applications

6.1 Computor Vision

6.1.1 Face detection







6.1.2 OpenFace




6.1.3 Facial Keypoints Detection



6.1.4 Facial Emotion Recognition




6.1.5 Texture Matching



7 Furture

Deep Reinforcement Learning 深度增强学习资源 (持续更新)https://zhuanlan.zhihu.com/p/20885568?refer=intelligentunit

获取人工智能AI前沿信息 https://zhuanlan.zhihu.com/p/21263408?refer=intelligentunit




8 Reference

问:您对Jeff Hawkins对深度学习的批评有什么看法?Hawkins是On Intelligence一书的作者, 该书2004年出版,内容关于大脑如何工作,以及如何参考大脑来制造智能机器。他声称深度学习没有对时间序列建模。人脑是基于一系列的传感数据进行思考的,人的学习主要在于对序列模式的记忆,比如你看到一个搞怪猫的视频,实际是猫的动作让你发笑,而不是像Google公司所用的静态图片。参见这个链接

答:时间相关的神经网络其实有很多工作,递归神经网络模型对时间关系隐性建模,通常应用于语音识别。比如下面这两个工作。

[1] http://www.cs.toronto.edu/~hinton/absps/RNN13.pdf

[2] http://papers.nips.cc/paper/5166 ... neural-networks.pdf

还有这篇文章:http://arxiv.org/abs/1312.6026.

自然语言处理中的序列也有所考虑:http://arxiv.org/abs/1306.2795


问:根据我的理解,深度神经网络训练上的成功跟选取正确的超参数有关系,比如网络深度,隐含层的大小,稀疏约束值等等。有些论文基于随机搜索来寻找这些参数。可能跟代码写得好也有关系。有没有一个地方能让研究者找到某些特定任务的合理超参数呢?在这些参数的基础上,可能更容易找到更优化的参数。

答:可以看上文关于超参数的部分。James Bergstra 继续了这部分工作。我觉得有这么一个数据库,存储着许多推荐的超参数设置,对于神经网络训练是非常有好处的。Github上面的Hyperopt项目,做了类似的事情。hyperopt项目聚焦于神经网络、卷积网络,给出一些超参数设置的建议。以简单的因子分布的形式给出。比如隐含层的数量应该是1到3,每一层的隐含单元数目应该是50到5000。其实超参数还有很多,以及更好的超参数搜索算法等等。下面是更多的参考论文:


问:Bengio教授,在深度学习中,有那么一类方法,采用比较高级的数学如代数和拓扑集合。John Healy几年前声称通过通过范畴论(Category Theory)改进了神经网络(ART1)。您对于这类尝试有什么看法?是儿戏还是很有前途?

答:可以看看Morton和Montufar的工作,参考附加材料:

热带几何以及概率模型中的热带几何



































个人工具
名字空间

变换
操作
导航
工具箱