查看DL QuickStart的源代码
←
DL QuickStart
跳转到:
导航
,
搜索
因为以下原因,你没有权限编辑本页:
您刚才请求的操作只有这个用户组中的用户才能使用:
用户
您可以查看并复制此页面的源代码:
== Reference == 问:您对Jeff Hawkins对深度学习的批评有什么看法?Hawkins是On Intelligence一书的作者, 该书2004年出版,内容关于大脑如何工作,以及如何参考大脑来制造智能机器。他声称深度学习没有对时间序列建模。人脑是基于一系列的传感数据进行思考的,人的学习主要在于对序列模式的记忆,比如你看到一个搞怪猫的视频,实际是猫的动作让你发笑,而不是像Google公司所用的静态图片。参见这个链接 答:时间相关的神经网络其实有很多工作,递归神经网络模型对时间关系隐性建模,通常应用于语音识别。比如下面这两个工作。 [1] http://www.cs.toronto.edu/~hinton/absps/RNN13.pdf [2] http://papers.nips.cc/paper/5166 ... neural-networks.pdf 还有这篇文章:http://arxiv.org/abs/1312.6026. 自然语言处理中的序列也有所考虑:http://arxiv.org/abs/1306.2795 问:根据我的理解,深度神经网络训练上的成功跟选取正确的超参数有关系,比如网络深度,隐含层的大小,稀疏约束值等等。有些论文基于随机搜索来寻找这些参数。可能跟代码写得好也有关系。有没有一个地方能让研究者找到某些特定任务的合理超参数呢?在这些参数的基础上,可能更容易找到更优化的参数。 答:可以看上文关于超参数的部分。James Bergstra 继续了这部分工作。我觉得有这么一个数据库,存储着许多推荐的超参数设置,对于神经网络训练是非常有好处的。Github上面的Hyperopt项目,做了类似的事情。hyperopt项目聚焦于神经网络、卷积网络,给出一些超参数设置的建议。以简单的因子分布的形式给出。比如隐含层的数量应该是1到3,每一层的隐含单元数目应该是50到5000。其实超参数还有很多,以及更好的超参数搜索算法等等。下面是更多的参考论文: *http://arxiv.org/abs/1306.2795 *http://arxiv.org/abs/1312.6026 *http://arxiv.org/abs/1308.0850 *http://papers.nips.cc/paper/5166-training-and-analysing-deep-recurrent-neural-networks.pdf 问:Bengio教授,在深度学习中,有那么一类方法,采用比较高级的数学如代数和拓扑集合。John Healy几年前声称通过通过范畴论(Category Theory)改进了神经网络(ART1)。您对于这类尝试有什么看法?是儿戏还是很有前途? 答:可以看看Morton和Montufar的工作,参考附加材料: *http://www.ece.unm.edu/~mjhealy/ *http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.98.6807 热带几何以及概率模型中的热带几何 *http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.242.9890 * [https://zhuanlan.zhihu.com/p/23255679 寒武纪——一个神经网络指令集架构] * [https://tech.meituan.com/O2O_Intelligent_distribution.html 即时配送的订单分配策略:从建模和优化] * [[Financial]] * [http://www.meng.uno/articles/5b828fc2/ 机器学习&深度学习速查表] * [https://www.leiphone.com/news/201707/TmZfbVdmupizoVcB.html 深度神经网络可视化工具集锦] * [https://blog.csdn.net/han2529386161/article/details/102723482 关于 MLPerf 的一些调查] <br><br> <br><br> <br><br>
返回到
DL QuickStart
。
个人工具
登录
名字空间
页面
讨论
变换
查看
阅读
查看源代码
查看历史
操作
搜索
导航
首页
社区专页
新闻动态
最近更改
随机页面
帮助
工具箱
链入页面
相关更改
特殊页面