人大经济论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 671|回复: 2

深度学习浅谈(上)

[复制链接]
发表于 2016-12-24 12:50:19 | 显示全部楼层 |阅读模式
转载自 定量群学 微信公众号

什么是深度学习?
深度学习的概念源于人工神经网络的研究,它基于神经网络框架,通过模拟人脑学习的方式的来处理数据,通过神经网络的分层处理,将低层特征组合形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

Geoffrey Hinton于2006年在《Science》上发表的论文首次提出深度学习的主要观点:

1)多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;

2)深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wise pre-training)来有效克服,逐层初始化可通过无监督学习实现。

机器学习的关键在于对对象特征的处理。因此几十年来,人工智能领域一直想要构建一个模式识别系统或者机器学习系统,比如分类器,将原始数据的外部属性(如图像的像素值)转换成一个合适的内部特征表示或特征向量,来对输入的样本进行检测或分类。但是这样的处理方式需要相当专业的知识来手工获取特征。深度学习的优点在于,它用非监督式或半监督式的特征学习和分层特征提取的高效算法来替代手工获取特征的方式。因此该文章的作者Yann LeCun、Yoshua Bengio、Geoffrey Hinton(2015)将深度学习定义为“一种特征学习方法,把原始数据通过一些简单的但是非线性的模型转变成为更高层次的,更加抽象的表达。通过足够多的转换的组合,非常复杂的函数也可以被学习”。

从2012年取得ImageNet竞赛的标志性事件之后,深度学习不断取得一系列的重大进展,解决了人工智能界的尽最大努力很多年仍没有进展的问题,除了在图像识别、语音识别等领域打破了纪录,还在其他的领域击败了其他机器学习技术,包括预测潜在的药物分子的活性、分析粒子加速器数据、重建大脑回路、预测非编码DNA突变对基因表达和疾病的影响。更令人惊讶的是,深度学习在自然语言理解的各项任务中也有非常可喜的成果,特别是主题分类、情感分析、自动问答和语言翻译。如今深度学习已经成为人工智能中最炙手可热的研究方向。深度学习的原理为何?又能够取得如此突破?本文希望结合本次推送的文章,通过对深度学习的大致介绍,让读者对深度学习主要的原理和方法有一个基本的认识。

 楼主| 发表于 2016-12-24 12:50:39 | 显示全部楼层
深度学习原理-来自人脑的启发

机器学习中,不论是否是深层,最常见的形式是监督学习。如果要建立一个分类系统,对包含了一座房子、一辆汽车、一个人或一个宠物的图像进行分类,首先要收集大量的房子,汽车,人与宠物的图像的数据集,并对每个对象标上它的类别。在训练期间,机器会获取一副图片,然后产生一个输出,这个输出以向量形式的分数来表示,每个类别都有一个这样的向量。
为了最终完成分类的目标,我们必须去提取被分类对象的特征来区分这些对象,比如在对摩托车进行分类识别时(如图1),传统的识别方法是将特征提取和分类器设计分开处理,然后在应用时合二为一。因此首先需要提取图中摩托车的特征,然后把提取出来的特征放到学习算法中。良好的特征提取,对最终算法的准确性起了非常关键的作用,直接决定了系统的计算和测试的效果。但是,这样的处理方式导致了两方面的问题,一方面,在传统的数据挖掘方法中,特征的选择一般都是通过手工完成的,手工选取的好处是可以借助人的经验或者专业知识选择出正确的特征;缺点是效率低,而且在复杂的问题中,人工选择可能也会陷入困惑。另一方面,许多机器学习技术使用的是线性分类器来对人工提取的特征进行分类。在图像和语音识别过程中,线性分类器需要的输入-输出函数要对输入样本中不相关因素的变化不要过于的敏感,如位置的变化,目标的方向或光照,或者语音中音调或语调的变化等,而对于一些特定的微小变化需要非常敏感(例如,一只白色的狼和跟狼类似的白色狗——萨莫耶德犬之间的差异)。在像素这一级别上,两条萨莫耶德犬在不同的姿势和在不同的环境下的图像可以说差异是非常大的,但是一只萨摩耶德犬和一只狼在相同的位置并在相似背景下的两个图像可能就非常类似。


 楼主| 发表于 2016-12-24 12:51:30 | 显示全部楼层
如何区分对象细微和本质的特征上的差别呢?深度学习从人脑视觉神经的处理机制中获得了灵感。

1958年,两位后来的诺贝尔医学奖得主DavidHubel 和Torsten Wiesel 发现:大脑的视觉系统在处理视网膜传递过来的感官信息时,并未直接地对数据进行处理,而是将接收到的刺激信号通过一个复杂的层状网络模型,进而得到对视觉信息的认识(如图2)。 例如,当人在看到气球的时候,大脑所获取的信息并不是一张完整的气球的图片,而是从原始信号摄入开始(瞳孔摄入像素),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定,眼前的物体的形状,是圆形的),然后进一步抽象(大脑进一步判定该物体是只气球),也就表示,神经-中枢-大脑的工作过程,是一个不断分层抽象的过程。因此大脑视觉系统的功能是对感知信号进行特征提取和计算,而不仅仅是简单地重现视网膜的图像。

这一生理学的发现,促成了计算机人工智能在四十年后的突破性进展。深度学习恰恰是借鉴了大脑视觉系统处理信息特征的这一思路,从而实现自动的特征学习,而不需要人工参与特征的选取。2006年前后,CIFAR(加拿大高级研究院)把一些研究者聚集在一起,人们对深度前馈式神经网络重新燃起了兴趣。研究者们提出了一种非监督的学习方法,这种方法可以创建一些网络层来检测特征而不使用带标签的数据,这些网络层可以用来重构或者对特征检测器的活动进行建模。通过预训练过程,深度网络的权值可以被初始化为合理的值。然后一个输出层被添加到该网络的顶部,并且使用标准的反向传播算法进行微调。比如,一副图像的原始格式是一个像素数组,那么在第一层上的学习特征通常指的是在图像的特定位置和方向上有没有边的存在。第二层通常会根据那些边的位置而来检测图案,这时候会忽略掉一些边上的一些小的干扰。第三层或许会把那些图案进行组合,从而使其对应于熟悉目标的某部分。随后的一些层会将这些部分再组合,从而构成待检测目标。在这一过程,深度学习在多个层级中通过组合低层特征形成更抽象的高层特征。LeCun Y,Bengio Y和HintonG(2015)认为,这就是深度学习的关键优势。

深度学习的体系结构是简单模块的多层堆栈,所有(或大部分)模块的目标是学习,还有许多计算非线性输入输出的映射。堆栈中的每个模块将其输入进行转换,以增加特征的可选择性和不变性。比如说,具有5到20层的非线性多层系统能够实现非常复杂的功能,比如输入数据对细节非常敏感——能够区分白狼和萨莫耶德犬,同时又具有强大的抗干扰能力,比如可以忽略掉不同的背景、姿势、光照和周围的物体等。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|Archiver|手机版|小黑屋|人大经济论坛 ( 京ICP备05066828号-20 京公网安备 11040202430141号 )

GMT+8, 2019-12-7 08:28 , Processed in 0.042805 second(s), 26 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表