深度学习与数学原理关系研究报告———金准报告-揽阅阁_短篇小说_揽阅阁
保存到桌面加入收藏设为幸运飞艇官网
短篇小说
当前位置:幸运飞艇官网 > 短篇小说

 深度学习与数学原理关系研究报告———金准报告-揽阅阁

时间:2019-07-06 12:38:19   作者:   来源:   阅读:113   评论:0
内容摘要:内容摘要:在今年5月底,Alphago又战胜了围棋世界冠军柯洁,AI再次泛起燎原之势席卷科技行业,吸引了众多架构师对这个领域技术生长的一连关注和学习。思考AI如何做工程化,如何把我们系统的应用架构、中间件漫衍式架构、大数据架构跟AI相团结,面向什么样的应用场景落地,对未来做好技术......
内容摘要:在今年5月底,Alphago又战胜了围棋世界冠军柯洁,AI再次泛起燎原之势席卷科技行业,吸引了众多架构师对这个领域技术生长的一连关注和学习。思考AI如何做工程化,如何把我们系统的应用架构、中间件漫衍式架构、大数据架构跟AI相团结,面向什么样的应用场景落地,对未来做好技术上的计划和...

在今年5月底,Alphago又战胜了围棋世界冠军柯洁,AI再次泛起燎原之势席卷科技行业,吸引了众多架构师对这个领域技术生长的一连关注和学习。思考AI如何做工程化,如何把我们系统的应用架构、中间件漫衍式架构、大数据架构跟AI相团结,面向什么样的应用场景落地,对未来做好技术上的计划和结构。

为了彻底明确深度学习,我们到底需要掌握哪些数学知识?微积分、线性代数、概率论、复变函数、数值盘算等等,这些数学知识有相关性,但实际上这是一个最大化的知识规模,学习成本会很是久。金准数据归纳了明确深度学习所需要的数学知识并对他们的关系举行梳理。

一、数学原理在深度学习中的应用

1、最小二乘法

 深度学习与数学原理关系研究陈诉———金准陈诉

最小二乘法最初是由法国数学家勒让德(Adrien-Marie Legendre)提出的,他曾因加入尺度米的制定而闻名。勒让德痴迷于预测彗星的位置,基于彗星曾泛起过的几处位置,坚定不移的盘算彗星的轨道,在履历无数的测试后,他终于想出了一种要领平衡盘算误差,随后在其1805年的著作《盘算慧星轨道的新要领》中揭晓了这一思想,也就是著名的最小二乘法。

勒让德将最小二乘法运用于盘算彗星轨道,首先是推测彗星未来泛起的位置,然后盘算这一推测值的平方误差,最后通过修正推测值来淘汰平方误差的总和,这就是线性回归思想的源头。 在Jupyter notebook上执行上图的代码。 m是系数,b是预测常数,XY坐标体现彗星的位置,因此函数的目的是找到某一特定m和b的组合,使得误差尽可能地小。

 深度学习与数学原理关系研究陈诉———金准陈诉

这也是深度学习的焦点思想:给定输入和期望输出,寻找两者之间的关联性。

2、梯度下降

勒让德的要领是在误差函数中寻找特定组合的m和b,确定误差的最小值,但这一要领需要人工调治参数,这种手动调参来降低错误率的要领是很是耗时的。在一个世纪后,荷兰诺贝尔奖得主彼得·德比(Peter Debye)对勒让德的要领举行了改良。

假设勒让德需要修正一个参数X,Y轴体现差异X值的误差。勒让德希望找到这样一个X,使得误差Y最小。如下图,我们可以看出,当X=1.1时,误差Y的值最小。

 深度学习与数学原理关系研究陈诉———金准陈诉

如上图,德比注意到,最小值左边的斜率都是负数,最小值右边的斜率都是正数。因此,如果你知道任意点X值所处的斜率,就能判断最小的Y值在这一点的左边照旧右边,所以接下来你会尽可能往靠近最小值的偏向去选择X值。

这就引入了梯度下降的看法,险些所有深度学习的模子都市运用到梯度下降。

假设误差函数 Error = X5- 2X3- 2

求导来盘算斜率:

 深度学习与数学原理关系研究陈诉———金准陈诉

下图的python代码解释了德比的数学要领:

 深度学习与数学原理关系研究陈诉———金准陈诉

上图代码最值得注意的是学习率 learning_rate,通过向斜率的反偏向前进,逐步靠近最小值。当越靠近最小值时,斜率会变得越来越小,逐步迫近于0,这就是最小值处。

举一个神经网络被用来期望在当前游戏状态下每种可能的行动所获得反馈的例子。下图给出了文章中所提到的神经网络。这个网络能够回覆一个问题,好比“如果这么做会变得怎么样?”。网络的输入部门由最新的四幅游戏屏幕图像组成,这样这个网络不仅仅能够看到最后的部门,而且能够看到一些这个游戏是如何变化的。输入被经由三个后继的隐藏层,最终到输出层。

 深度学习与数学原理关系研究陈诉———金准陈诉

输出层对每个可能的行动都有一个节点,而且这些节点包罗了所有行动可能获得的反馈。在其中,会获得最高期望分数的反馈会被用来执行下一步行动。

确切地说,在界说了网络的结构之后,剩下唯一会变化的就只有一件事:毗连之间的强弱水平。调整这些方式地权重,从而使得通过这个网络的训练样例获得好的反馈,可以选择通过将梯度下降与激励学习要领团结的方式。

这个网络不仅仅需要最大化当前的反馈,还需要思量到未来的行动。这一点可以通过预测预计下一步的屏幕而且分析解决。用另一种方式讲,可以使用(当前反馈减去预测反馈)作为梯度下降的误差,同时会思量下一幅图像的预测反馈。

3、线性回归

线性回归算法团结了最小二乘法和梯度下降。在二十世纪五六十年代,一组经济学家在早期盘算机上实现了线性回归的早期思想。他们使用穿孔纸带来编程,这是很是早期的盘算机编程要领,通过在纸带上打上一系列有纪律的孔点,光电扫描输入电脑。经济学家们花了好几天来打孔,在早期盘算机上运行一次线性回归需要24小时以上。

下图是Python实现的线性回归。

 深度学习与数学原理关系研究陈诉———金准陈诉

梯度下降和线性回归都不是什么新算法,可是两者的团结效果照旧令人赞叹。

4、感知机

感知机最早由康奈尔航空实验室的心理学家弗兰克·罗森布拉特(Frank Rosenblatt)提出,罗森布拉特除了研究大脑学习能力,还喜晴天文学,他能白昼剖解蝙蝠研究学习迁移能力,夜晚还跑到自家屋后山顶建起天文台研究外太空生命。1958年,罗森布拉特模拟神经元发现感知机,以一篇《New Navy Device Learns By Doing》登上纽约时报头条。

罗森布拉特这台机械很快吸引了公共视线,给这台机械看50组图片(每组由一张标识向左和一张标识向右的图片组成),在没有预先设定编程下令的情况下,机械可以识别出图片的标识偏向。

 深度学习与数学原理关系研究陈诉———金准陈诉

每一次的训练历程都是以左边的输入神经元开始,给每个输入神经元都赋上随机权重,然后盘算所有加权输入的总和,如果总和是负数,则标志预测效果为0,否则标志预测效果为1。

如果预测是正确的,不需要修改权重;如果预测是错误的,用学习率(learning_rate)乘以误差来对应地调整权重。

下面我们来看看感知机如何解决传统的或逻辑(OR)。

 深度学习与数学原理关系研究陈诉———金准陈诉

Python实现感知机:

 深度学习与数学原理关系研究陈诉———金准陈诉

等人们对感知机的兴奋劲头事后,马文·明斯基(Marvin Minsky)和西摩·帕普特(Seymour Papert) 打破了人们对这一思想的崇敬。其时明斯基和帕普特都在MIT的AI实验室事情,他们写了一本书证明感知机只能解决线性问题,指出了感知机无法解决异或问题(XOR)的缺陷。

在明斯基和帕普特提出这一点的一年后,一位芬兰的硕士学生找到相识决非线性问题的多层感知机算法。其时因为对感知机的批判思想占主流,AI领域的投资已经干枯几十年了,这就是著名的第一次AI隆冬。

明斯基和帕普特批判感知机无法解决异或问题(XOR,要求1&1返回0):

 深度学习与数学原理关系研究陈诉———金准陈诉

对于左图的OR逻辑,我们可以通过一条线脱离0和1的情形,可是对于右边的XOR逻辑,无法用一条线来划分。

5、人工神经网络

到了1986年,鲁梅尔哈特(David Everett Rumelhart)、杰弗里·辛顿(Geoffrey Hinton)等人提出反向流传算法,证明晰神经网络是可以解决庞大的非线性问题的。当这种理论提出来时,盘算机相比之前已经快了1000倍。

为了明确这篇论文的焦点,我们实现了DeepMind大神Andrew Trask的代码,这并不是随机选择的代码,这段代码被Andrew Karpathy斯坦福的深度学习课程、Siraj Raval在Udacity的课程中接纳。更为重要的是,这段代码体现的思想解决了XOR问题,融化了AI的第一个冬季。

 深度学习与数学原理关系研究陈诉———金准陈诉

在我们继续深入之前,读者可以试试这个模拟器,花上一两个小时来熟悉焦点看法,然后再读Trask的博客,接下来多熟悉代码。注意在X_XOR数据中增加的参数是偏置神经元(bias neurons),类似于线性函数中的常量。

 深度学习与数学原理关系研究陈诉———金准陈诉

先注重去看背后的逻辑,不要想着一下子就能完全参透全部。

6、深度神经网络

深度神经网络指的是除了输入层和输出层,中间还存在多层网络的神经网络模子,这一看法首先由加利福尼亚大学盘算机系认知系统实验室的Rina Dechter提出,可参考其论文《Learning While Searching in Constraint-Satisfaction-Problems》,但深度神经网络的看法在2012年才获得主流的关注,不久后IBM IBM Watson在美国智力游戏危险边缘(eopardy)取告捷利,谷歌推出了猫脸识别。

深层神经网络的焦点结构仍保持稳定,但现在开始被应用在差异的问题上, 正规化也有很大的提升。一组最初应用于简化噪音数据的数学函数,现在被用于神经网络,提高神经网络的泛化能力。

深度学习的创新很大一部门要归功于盘算能力的飞速提升,这一点革新了研究者的创新周期,那些原本需要一个八十年代中期的超级盘算机盘算一年的任务,今天用GPU只需要半秒钟就可以完成。

盘算方面的成本降低以及深度学习越来越富厚的库资源,使得公共也可以走进这一行。我们来看一个普通的深层学习客栈的例子,从底层开始:

GPU > Nvidia Tesla K80。通常用于图像处置惩罚,对比CPU,他们在深度学习任务的速度快了50-200倍。

CUDA > GPU的底层编程语言。

CuDNN > Nvidia优化CUDA的库

Tensorflow > Google的深度学习框架

TFlearn > Tensorflow的前端框架

举一个数字分类的例子(MNIST数据集),这是一个入门级的例子,深度学习界的“hello world”。

 深度学习与数学原理关系研究陈诉———金准陈诉

在TFlearn中实现:

 深度学习与数学原理关系研究陈诉———金准陈诉

二、数学原理可能是深度学习神经网络的数据瓶颈

像大脑一样,深度神经网络有层层神经元(只不外是用数据节点模拟的)。当数据节点被引发时,它会发送信号到它上层中毗连的其它数据节点。在深度学习期间,节点网络中的毗连会凭据被引发的频率被扩展增强或缩小削弱,如同人类的神经网络一般。

好比输入的数据如果是一张狗的照片,每个像素可以看作是引发最底层的数据节点的信号,这些信号通过了数据节点网络不停向上层发射,最终获得了一个结论。而大量的狗的照片被输入以后,这些结论就会在高层数据节点上有一个相近的区域,而我们可以手动的把这个区域定为“狗”。以后,只要是狗的照片,经由了这个数据节点网络以后,就会在很大的概率上落入这个区域。这就是数据神经网络最基础的原理。可是这种能够发生和人类智慧类似(或者本质上一样)的数学原理究竟是什么呢?这是人工智能界的专家很想相识的,甚至我们也可以从中学会人类的大脑是用什么方式来明确现实。

 深度学习与数学原理关系研究陈诉———金准陈诉

人类的大脑是如何从我们日常的感官中筛选信号并将其提升到自我意识水平的谜团驱使了数据学的先驱者对深度学习神经网络的兴趣,他们希望模拟大脑的设计来逆向学习它的运行规则。然现在天人工智能从业者已经不是很体贴这个最初的愿望,而是更体贴如何应用这个没有被完全解释的(甚至是基础没有被解释的)现象。现在人类已经有建设逾越人脑神经元的数据节点的能力,而且在不停追求更快更大的数字神经网络,可是这是否切合自然生物学上的合理性呢? 我们是否应该在深度神经网络进一步生长前花更大的精神去探索一下它的原理呢?

很显着的,人类的学习能力和深度学习数据神经网络并不完全一样。好比,一个刚刚开始学习识字的儿童并不需要看过成千上万个同样的字才气明确它和其它字之间的区别。许多情况下,人类只需要看过一次,就能领会这个字和其它文字的区别。

同样的,你不需要瞥见人数百次才气区分这个是人,你甚至可以看一次就知道他或她是人,而且你还可以把他或她从其它人直接区分出来。虽然了,这对深度学习网络来说不是完全不行能的。一种方式是将事物举行降级剖析,好比把人的五官从面部门类出来,比对其和其它五官的吻合度,然后再对整体的结构和比例举行匹配。这可以大幅降低深度学习网络的训练时间。可是即便如此,也难以做到类似人类的判断能力。

三、总结

深度学习的主要思想仍然很像多年前罗森布拉特提出的感知机,但已经不再使用二进制赫维赛德阶跃函数(Heaviside step function),今天的神经网络大多使用Relu激活函数。在卷积神经网络的最后一层,损失设置为多分类的对数损失函数categorical_crossentropy,这是对勒让德最小二乘法的一大改良,使用逻辑回归来解决多种别问题。另外优化算法Adam则起源于德比的梯度下降思想。此外, Tikhonov的正则化思想被广泛地应用于Dropout层和L1 / L2层的正则化函数。

未来优秀的人工智能学家一定是能够在人脑科学和数字科学这两个学界往来的学者。有科学家认为,深度学习网络最适合解决在输入的信号中消除噪音的问题,解决模拟自然视觉,语音识别等问题,这些也正是我们的大脑擅长应付的。

同时,人类的神经网络和人造数字神经网络都市遇到结论不确定的情况,从而使微小的差异无法消除。例如,对一个变量的变化很是敏感的逻辑问题并不适合深度学习来解决,好比离散问题和加密问题等。据一个例子,我以为深度学习不会更像许多影戏或者小说里说的那样成为超级人工智能黑客。破解密码和寻找系统毛病并不是深度学习擅长做的事情(也不是人类擅长做的事情)。



标签:深度 学习 数学 原理 关系 
分享到:QQ空间新浪微博腾讯微博天涯社区微信QQ挚友复制网址更多...
返回幸运飞艇官网请点击免费文章网

本栏最新更新

本栏推荐

阅读排行

本站所有站内信息仅供娱乐参考,不作任何商业用途,不以营利为目的,专注分享快乐,欢迎收藏本站!