查看DL roam的源代码
←
DL roam
跳转到:
导航
,
搜索
因为以下原因,你没有权限编辑本页:
您刚才请求的操作只有这个用户组中的用户才能使用:
用户
您可以查看并复制此页面的源代码:
==直观印象== 无论是jack给的连接还是youtube频道3Blue1Brown, 都是用下面这个例子来作为介绍deep learning. * [http://neuralnetworksanddeeplearning.com/chap1.html deep learning对手写数字的识别 ] 直接跳到这个神经元结构示意图, 是下面的这个样子. [[文件:Deep_learning_hw_fnn.png]] 什么意思呢, 就是假设每个手写数字都是28x28个像素的小图片, 总共784个点, 每个点的像素值按照一行行配列好,变成一个输入数组对应 input layer的784个神经元, 非常的直接和暴力. 神经元有四层, 中间两层称作 hidden layer. 最右边是输出层, 对应0到9 10个数字. 如果已经训练好了, 一个手写的'3'的图片,在输出层将会得到 3这个神经元的值最接近1(最大可能性), 其他神经元,理想状态, 可能性最接近0 (或-1). 而且,有一个事情必须提到,每个神经元有一个可能性的度量值, 从[-1, +1],或者从[0,1], 一层层传递下去,构成正向反馈. 好了, 一共有四层, 算是'深了', 所以叫 'deep learning', 而层数很少的呢叫 'shallow learning'. 每一层的每一个结点都全链接到下一层的所有神经元, 同样,靠右的神经元也全链接到上一层的所有神经元, 这样的结构叫 "FNN" 全链接神经网络. 那下一层的神经元怎么得到自己的 '可能性' 值, 有两个步骤. 第一步,线性影射值, Z<sup>l</sup> = w<sup>l-1</sup><sub>1</sub>a<sup>l-1</sup><sub>1</sub> <sub>1</sub> + w<sup>l-1</sup><sub>2</sub>*a<sup>l-1</sup><sub>2</sub> + ... + b 这个式子的意思是有好几个: * 每个神经元都被上一层的神经元以某种权重激活 (activation). 权重值是w (weight) * 上一层的一个神经元, 贡献给下一层的某个神经元的线性值"z"(小写代表某一个神经元), 用z=a*w计算. * Z 是所有上一层的神经元对这层的一个神经元贡献的和, 加上一个bias值 (b) * 第一层的激活直接从数据, 这里是784个像素的值获得. 第二步是, 根据Z计算神经元的 "可能性" 值, Z可能是任何值, 但是可能性的值, 一般是[0,1] (或者[-1,1]), 这个步骤是非线性的, 也是最重要的, 神经元必须有非线性过程. 这个函数应该能把任意实数值影射到0-1这个区间( 或者 [-1,1]). 这样的函数有很多,最常见的是 σ [[文件:00.jpg]] 所谓训练神经网络,就是找到每一层每一个神经元里所有w<sub>i</sub>和b 的最合适的值.
返回到
DL roam
。
个人工具
登录
名字空间
页面
讨论
变换
查看
阅读
查看源代码
查看历史
操作
搜索
导航
首页
社区专页
新闻动态
最近更改
随机页面
帮助
工具箱
链入页面
相关更改
特殊页面