大数据与深度学习综述
大数据与深度学习综述
大数据与深度学习综述
DOI:10.11992 / tis.201611021
网络出版地址:http: / / www.cnki.net / kcms / detail / 23.1538.TP.20170116.1503.004.html
大数据与深度学习综述
马世龙,乌尼日其其格,李小平
( 北京航空航天大学 软件开发环境国家重点实验室,北京 100191)
摘 要:大数据时代改变了基于数理统计的传统数据科学,促进了数据分析方法的创新,从机器学习和多层神经网
络演化而来的深度学习是当前大数据处理与分析的研究前沿。 从机器学习到深度学习,经历了早期的符号归纳机
器学习、统计机器学习、神经网络和 20 世纪末开始的数据挖掘等几十年的研究和实践,发现深度学习可以挖掘大数
据的潜在价值。 本文给出大数据和深度学习的综述,特别是,给出了各种深层结构及其学习算法之间关联的图谱,
给出了深度学习在若干领域应用的知名案例。 最后,展望了大数据上深度学习的发展与挑战。
关键词:大数据;机器学习;深层结构;深度学习;神经网络;人工智能;学习算法;派生树
中图分类号: TP311 文献标志码:A 文章编号:1673-4785(2016)06-0728-15
Deep learning with big data: state of the art and development
Abstract:As the era of the big data arrives, it is accompanied by profound changes to traditional data science based
on statistics. Big data also pushes innovations in the methods of data analysis. Deep learning that evolves from ma⁃
chine learning and multilayer neural networks are currently extremely active research areas. From the symbolic ma⁃
chine learning and statistical machine learning to the artificial neural network, followed by data mining in the 90s,
this has built a solid foundation for deep learning ( DL) that makes it a notable tool for discovering the potential val⁃
ue behind big data. This survey compactly summarized big data and DL, proposed a generative relationship tree of
the major deep networks and the algorithms, illustrated a broad area of applications based on DL, and highlighted
the challenges to DL with big data, as well as identified future trends.
Keywords: big data; machine learning; deep network; deep learning; neural network; artificial intelligence;
learning algorithm; derivation tree
大数据不仅为企业带来丰厚的利润,也开启了 理统计的传统数据科学,促进了新的数据分析方法
科学研究的第四范式,即数据密集型科学发现 [1]
。 的创新,从机器学习和多层神经网络演化而来的深
学术界和产业界对大数据的认识正逐步清晰化并形 度学习是当前大数据处理和分析方法的研究前沿。
1 大数据及其挑战
成共识。 大数据时代同时也改变了基于概率论和数
万方数据
第 6 期 马世龙,等:大数据与深度学习综述 · 729·
名称 含义
这个数据处理量是美国国家图书馆所有纸质出版物
规模可从数百 TB 到数十数百 PB、
所含数据量的千倍之多 [14] 。 由此说明,除了互联网
规模性( Volume) 之外,物联网、移动终端乃至传统的产业都在迅速产
甚至到 EB 规模
包括各种格式和形态的数据, 生大量的数据。 研究人员对大数据的产生方式进行
多样性( Variety)
如文本、图像、音频、视频 了分类 [15] ,并指出大数据产生方式经历了被动生
实效性( Velocity)
需要在一定的时间限度下 成、主动生成、自动生成 3 个阶段 [15] ,如表 3 所示。
得到及时处理 表 3 大数据产生阶段
价值密度低,需要通过分析挖掘 Table 3 Big data generating
价值密度( Value)
和利用产生商业价值
阶段 方式 特点
采集的数据的质量影响分析
真实性( Veracity) 运营式系统阶段,伴随一定的运
结果的准确性 1 被动
营活动数据被动产生并保存
易变性( Variability) 指数据流的格式变化多样 用户原创内容阶段,尤其是在 Web2.0
粘性( Viscosity) 指数据流之间的关联性是否强 时代,社交网络的出现以及以智能手机、
邻近性( Vicinity) 获取数据资源的距离 2 主动 平板电脑为代表的新型移动设备的使
传播性( Virality) 数据在网络中传播的速度 用率上升,爆炸式地、主动地产生 UGC
有效性( Volatility) 数据的有效性及存储期限 ( user generated content) 数据
因采集手段的多样性和局限性, 感知式系统阶段,随着带有处理
模糊性( Vague)
获取的数据具有模糊性 3 自动 功能的传感器广泛布置于社会各处,
随着应用的不同研究人员给出了众多的大数据 源源不断地、自动地产生新的数据
万方数据
· 730· 智 能 系 统 学 报 第 11 卷
大数据产生如此之快,对存储提出更高的要求。 要进行及时、有效地分析和处理,进而挖掘其中的价
产业界纷纷投入建设规模庞大的数据存储基础设 值。 M.Viktor [14] 指出,利用大数据进行分析时,与以
施。 到 2012 年为止,Google 部署在全球的数据中心 往不同的是:1) 要使用全生命周期数据,即不是样
就有 36 个,单个数据中心的计算机节点将达到数百 本而是全体;2) 与精确的数据分析相比,更加关注
万个;微 软 在 全 球 建 设 超 过 20 个 数 据 中 心, 仅 在 对全量复杂多样数据的分析;3) 与传统的因果关系
2009 年底前,就在芝加哥建成当时世界最大的模块 分析相比,更加关注事物之间的相关关系;4) 基于
化数据 中 心, 包 括 220 个 集 装 箱, 每 个 集 装 箱 有 机器学习的大数据分析结果将减少传统决策中的主
1 800 ~ 2 500 台机器不等 [16]
。 IDC 统计显示,全球 观因素。
的数据储量仅在 2011 年就达到 1.8 ZB,2015 年全球 大数据处理在一般流程上包括数据存储、数据
大数据储量达到 8.61 ZB,而今后 10 年,用于存储数 抽取与集成、数据分析、数据解释和用户等几个层
据的全球服务器总量还将增长 10 倍 [17]
。 次,如文献[15] 中图 1 所示。
大数据不仅需要如此妥善的存储和监管,更需
图 1 大数据处理一般流程
Fig.1 Basic framework of big data processing
万方数据
第 6 期 马世龙,等:大数据与深度学习综述 · 731·
2 从机器学习到深度学习
但机器学习在几十年的发展中,仍有很多问题
未能解决。 其中包括:BP 算法随着神经网络层次的
2.1 机器学习发展历程 加深,参数优化效果无法传递到前层,从而导致容易
如果说人的学习是通过观察获得某种技能的过 出现局部最优解 [33] 或过拟合问题 [34] ;此外,由于机
程,那 么 机 器 学 习 就 是 在 用 计 算 机 模 仿 这 一 过 器学习在实际应用中需要手工设计特征和线性分类
程 [21]
。 机器学习被认为是计算机拥有智能的根本 器,它不仅依赖领域专家的知识,还需要人在学习过
途径,在人 工 智 能 发 展 的 早 期 阶 段 占 据 了 重 要 地 程中参与这使得学习耗时耗力。 而且,这种机器学
万方数据
· 732· 智 能 系 统 学 报 第 11 卷
万方数据
第 6 期 马世龙,等:大数据与深度学习综述 · 733·
图 4 深层网络派生树
Fig.4 The derivation tree of the deep networks
万方数据
· 734· 智 能 系 统 学 报 第 11 卷
表 4 深层网络及其算法
Table 4 Deep networks and algorithms
深度 网络 相关训练 模型特点及 存在
年份 提出者
模型 结构 算法 解决问题 问题
线性不可分问题;从
BP [31] 局部最优解问题;
1974 P.J.Werbos - 链式积分法 简单神经网络到复
反向传播 过拟合问题
杂神经网络的推广
D.H.Ackley 统计力学中一种能
BM [37]
1985 G.E.Hinton 多层 - 量模型,随机神经 难于计算分布
玻尔兹曼机
T.J Sejnowski 网络实例
容易求得 BM 的概
RBM [40] 受限 2层
1986 P.Smolensky 对比散度法 率分布;具有无监督 效率低
玻尔兹曼机 无向边
学习能力
CRBM [46]
H.Chen
2002 连续受限 2层 MCD;BP 能够对连续数据建模 参数调优困难
A.Murray
玻尔兹曼机
RBM 的堆叠;以无监督
多层
DBN [41]
G.E.Hinton 贪心逐层训练 学习到的参数作为有监 可视层只能接收二
2006 有 / 无向边
深度置信网络 R.R.Salakhutdinov 算法;BP 督学习的初始值,从而 值数值;优化困难
全连接
解决了 BP 的问题
多层 BM 的特殊形式;
DBM [39] R.R.Salakhutdinov
2006 无向边 BP 自下而上生成结构; 效率低
深度玻尔兹曼机 G.E.Hinton
全连接 减少传播造成的误差
通过编码器和解
D.E.Rumelhart
AE [50]
码器工作完成训练;
1986 G.E.Hinton 3层 贪心逐层训练算法 不能用于分类
自动编码器 通过损失函数最小化
R.J.Williams
求出网络的参数;
无监督逐层贪心训练
隐藏层数量和神
DAE [41]
G.E.Hinton 贪心逐层 算法完成对隐含层的预
2006 多层 经元的数量增
深自动编码器 R.R.Salakhutdinov 训练算法;BP 训练;并通过 BP 微调,
多导致梯度稀释
显著降低了性能指数;
万方数据
第 6 期 马世龙,等:大数据与深度学习综述 · 735·
续表 4
深度 网络 相关训练 模型特点及 存在
年份 提出者
模型 结构 算法 解决问题 问题
将 DBN 中的 RBM 替换
B.Yoshua
多层 为 AE 后的生成模型;通过
SAE [51] L.Pascal 梯度下降
2007 有 / 无向边 将第一层的贝努力分布的输 同上
堆叠自动编码器 P.Dan 算法;BP
全连接 入改为高斯分布,扩展成可
Hugo Larochelle
输入任意值进行训练
M.Ranzato,
SAE [52] 降维,学习稀疏
2007 Y.Boureau 3层 梯度下降算法;BP 同上
稀疏自动编码器 的特征表达
Y.Lecun
P.Vincent 在破损数据的基础
dAE [53]
H.Larochelle 上训练;使训练得到的
2008 3层 梯度下降算法;BP 同上
降噪自动编码器 Y.Bengio 权重噪声较小,
A.Manzagol 从而提高鲁棒性
P.Vincent
SDAE [54] 将多个 dAE 堆叠起来
H.Larochelle 梯度下降
2010 堆叠消噪 多层 形成深度网络结构, 同上
I.Lajoie 算法;BP
自动编码器 用来提取特征表达
Y.Bengio 等
SSAE [55] Jiang Xiaojuan 在 SAE 的损失函
梯度下降
2013 稀疏堆叠 Zhang Yinghua 多层 数上加入稀疏惩罚值形 同上
算法;BP
自动编码器 Zhang Wensheng 等 成的深层网络
Y.Lecun 多层 包含卷积层和子
CNN [56]
L.Bottou 无向边 梯度下降 采样层;可以接受 2D 要求较高计
1998
卷积神经网络 Y.Bengio 局部连接 算法;BP 结构的输入;具有较强 算能力的资源
P.Haffner 共享权值 的畸变鲁棒性
堆叠的 CAE 结
SCAE [57] Masci Jonathan
构,每层采用没有
2011 堆叠卷积 Meier Ueli 多层 梯度下降算法;BP 同上
正则项的传统梯度下降
自动编码器 Dan Cireşan 等
算法进行训练
时间维度上的深层结
SRN [59] BPTT;梯度 长时间依
1990 J.L.Elman 3层 构;上一时刻的输出
简单循环网络 下降算法 赖问题
是下一时刻的输入
S.E.Hihi 多层的时间维度
RNN [60] BPTT;梯度 梯度消失或
1995 M.Q.Hc⁃J 多层 上的深层结构;能
循环神经网络 下降算法 梯度爆炸
Y.Bengio 够处理序列数据
通过为每一个神经元
引入 gate 和存储单
训练复杂度
LSTM [61]
S.Hochreiter BPTT;梯度 元,能够解决 RNN 所面临
1997 多层 较高、解码
长短是记忆 J.Schmidhuber 下降算法 的梯度消失或爆炸问题
时延较高
由于具有记忆功能,能够
处理较为复杂的序列数据
万方数据
· 736· 智 能 系 统 学 报 第 11 卷
续表 4
深度 网络 相关训练 模型特点及 存在
年份 提出者
模型 结构 算法 解决问题 问题
K.Cho
相比于 LSTM,只设
GRU [62] B.Van Merrienboer BPTT;梯度 表达能力
2014 多层 置一个更新关口,运行比
关口循环单元 D.Bahdanau 下降算法 相对弱
LSTM 更快,更容易
Y.Bengio
V.Mnih 受人类的注意力
Attention [63] N.Heess 机制的启发,每次处理 增加了存
2014 — —
注意力机制 A.Graves 注意力部分的数据, 储开销
K.Kavukcuoglu 减少任务复杂度
Goodfellow Ian
Pougetabadie Jean 由不同网络组成,成
Mirza Mehdi 多层 对出现,协同工作
GAN [64]
Xu Bing 无向边 一个网络负责生成内容, 训练较难;训练
2014 BP;dropout
生成对抗网络 Wardefarley David 局部连接 另一个负责对内容进行 过程不稳定
Ozair Sherjil 共享权值 评价多以前馈网络
Courville Aaron 和卷积网络的结合为主
Bengio Yoshua
多层 GAN 基于 CNN 的扩
DCGAN [65] A.Radford
无向边 BP;梯度 展,可以从训练数据
2015 深度卷积 L.Metz 训练过程不稳定
局部连接 下降算法 中学习近似的分布
生成对抗网络 S.Chintala
共享权值 情况
注:‘ —’ 表示尚不明确或不适用。
派生树有助于理解众多神经网络结构之间的关 模型则属于判别模型,而像 DBM、GAN 等深度学习
系,而对应的表 4 则对每个深度学习算法的网络结 模型既包括生成模型也包括判别模型。
构、训练算法以及解决问题或存在问题给出了简要 在作者所收集信息的范围内,派生树涵盖了目
总结。 两组信息合起来,能够成为该领域学习参考 前主流的 20 余种模型,然而研究人员实际提出的深
的一个索引。 层网络模型并不仅限于此。 而且,也有新的机制在
深度学习的网络结构因网络的层数、权重共享 被引入 到 已 有 的 深 度 学 习 模 型 中, 例 如 2014 年
性以及边的特点不同而有所不同。 因此,在表 4 中 Mnih, Volodymyr 等受人类注意力机制的启发,提出
给出了每一种深度学习算法的网络结构特点。 其 了 Attention 模型( 也叫注意力机制) 。 这一新的机
中,绝大多数深度学习算法体现为空间维度上的深 制,通过与 RNN 或 CNN 结合,降低了数据处理任务
层结构,且属于前向反馈神经网络;而以循环神经网 复杂度的同时,进一步拓宽了深度学习模型的应用
络( RNN) 为代表的 SRN、LSTM 和 GRU 等深度学习 领域。 作者认为新的模型是对原有基础框架的扩展
算法,通过引入定向循环,具有时间维度上的深层结 或改进,该树仍在不断生长。
构,从而可以处理那些输入之间有前后关联的问题。 2.3 深度学习的应用案例
根据对 标 注 数 据 的 依 赖 程 度, 深 度 学 习 算 法 中 派生树( 图 4) 揭示了近几年的时间里深度学习
DBN、AE 及其派生分支体现为以无监督学习或半监 算法如雨后春笋不断涌现。 这些算法在计算机图像
督学习为主;CNN、RNN 及其派生分支则以有监督 识别、语音识别、自然语言处理以及信息检索等领域
学习为主。 此外,根据学习函数的形式,机器学习算 在不断刷新历史记录。 本节根据不同应用领域对相
法又可以分为生成模型和判别模型 [66]
。 表 4 列出 关的知名案例进行简述。
的深度学习模型中,DBN 及其派生的深度学习模型 1) 图像识别
( 如 CDBN) 属于生成模型,AE 及其派生的深度学习 图像识别过去依赖人工设置的特征,特别适合
万方数据
第 6 期 马世龙,等:大数据与深度学习综述 · 737·
万方数据
· 738· 智 能 系 统 学 报 第 11 卷
万方数据
第 6 期 马世龙,等:大数据与深度学习综述 · 739·
[5] LANEY D. 3D data management: controlling data volume, tion review, 2015, 39(2) : 272.
velocity, and variety [ R ] . META Group Research Note, [20] LABRINIDIS A, JAGADISH H V. Challenges and opportu⁃
2001. nities with big data [ J] . Proceedings of the vldb endow⁃
[6] IDC. IIIS: the “ four vs” of big data[ EB / OL] . [2016-11- ment, 2012, 5(12) : 2032-2033.
11] . http: / / www.computerworld.com.au / article / 396198 / ii⁃ [21] ABU⁃MOSTAFA Y S, MAGDON⁃ISMAIL M, LIN H T.
is_four_vs_big_data / . Learning from data: a short course [ M] . Chicago: Aml⁃
[7] SCHROECK M J, SHOCKLEY R, SMART J, et al. Analyt⁃ book, 2012.
ics: the real⁃world use of big data[ R] . Oxford: IBM, 2012. [22] 洪家荣. 机器学习———回顾与展望[ J] . 计算机科学,
[8] IBM. The four v′s of big data[ EB / OL] . 2014 [ 2016-11- 1991, 18(2) : 1-8.
11] . http: / / www. ibmbigdatahub. com / infographic / four⁃vs⁃ HONG Jiarong. Machine learning - review and vision[ J] .
big⁃data. Computer science, 1991,18(2) : 1-8.
[9] 郭平, 王可, 罗阿理, 等. 大数据分析中的计算智能研 [23] SAMUEL A L. Some studies in machine learning using the
究现状与 展 望 [ J] . 软 件 学 报, 2015, 26 ( 11) : 3010 - game of checkers. II—recent progress[ J] . Annual review
3025. in automatic programming, 1969, 6: 1-36.
GUO Ping, WANG Ke, LUO Ali, et al. Computational in⁃ [24] ROSENBLATT F. The perceptron⁃a perceiving and recog⁃
telligence for big data analysis: current status and future nizing automaton [ R] . Ithaca, NY: Cornell Aeronautical
prospect[ J] . Journal of software, 2015, 26 ( 11) : 3010 - Laboratory, 1957.
3025. [25] WIDROW B, LEHR M A. 30 years of adaptive neural net⁃
[10] Gartner. Big data [ EB / OL ] . [ 2016 - 11 - 11 ] . http: / / works: perceptron, Madaline, and backpropagation [ J ] .
www.gartner.com / it⁃glossary / big⁃data / . Proceedings of the IEEE, 1990, 78(9) : 1415-1442.
[11] MANYIKA J, CHUI M, BROWN B, et al. Big data: the [26] MINSKY M, PAPERT S A. Perceptrons: an introduction
next frontier for innovation, competition, and productivity to computational geometry, expanded edition [ M] . Cam⁃
[ R] . Analytics: McKinsey & Company, 2011. bridge, Mass: MIT Press, 1988: 449-452.
[12] Wikiprdia. Big data[ EB / OL] . 2009. [2016-11-11] . ht⁃ [27] 王珏, 石纯一. 机器学习研究[ J] . 广西师范大学学报:
tps: / / en.wikipedia.org / wiki / Big_data. 自然科学版, 2003, 21(2) : 1-15.
[13] JAMES J. How much data is created every minute? [ EB / WANG Jue, SHI Chunyi. Investigations on machine learn⁃
OL] . [2016-11-11] . https: / / www.domo.com / blog / how⁃ ing[ J] . Journal of Guangxi normal university: natural sci⁃
much⁃data⁃is⁃created⁃every⁃minute / . ence edition, 2003, 21(2) : 1-15.
[14] 维克托·迈尔·舍恩伯格, 周涛. 大数据时代生活、工 [28] CORTES C, VAPNIK V. Support⁃vector networks[ J] . Ma⁃
作与思维的大变革[ M] . 周涛, 译. 杭州: 浙江人民出 chine learning, 1995, 20(3) : 273-297.
版社, 2013: 136-136. [29] REYNOLDS D A, ROSE R C, SMITH M J T. A mixture
[15] 孟小峰,慈祥. 大数据管理: 概念、技术与挑战[ J] . 计 modeling approach to text⁃independent speaker identifica⁃
算机研究与发展, 2013, 50(1) : 146-169. tion [ J ] . Journal of the acoustical society of america,
MENG Xiaofeng, CI Xiang. Big data management: con⁃ 1990, 87( S1) : 109.
cepts, techniques and challenges[ J] . Journal of computer [ 30] RUMELHART D E, MCCLELLAND J L. Parallel distribu⁃
research and development, 2013, 50(1) : 146-169. ted processing: explorations in the microstructure of cogni⁃
[16] 王意洁, 孙伟东, 周松, 等. 云计算环境下的分布存储 tion: foundations [ M ] . Cambridge, Mass: MIT Press,
关键技术[ J] . 软件学报, 2012, 23(4) : 962-986. 1987.
WANG Yijie, SUN Weidong, ZHOU Song, et al. Key [31] WERBOS P J. Backpropagation through time: what it does
technologies of distributed storage for cloud computing[ J] . and how to do it[ J] . Proceedings of the IEEE, 1990, 78
Journal of software, 2012, 23(4) : 962-986. (10) : 1550-1560.
[17] GANTZ J, REINSEL D. Extracting value from chaos[ R] . [32] WU Xindong, KUMAR V, QUINLAN J R, et al. Top 10
Idcemc2 Report, 2011. algorithms in data mining[ J] . Knowledge and information
[18] 程学旗, 靳小龙, 王元卓, 等. 大数据系统和分析技术 systems, 2008, 14(1) : 1-37.
综述[ J] . 软件学报, 2014, 25(9) : 1889-1908. [33] GORI M, TESI A. on the problem of local minima in back⁃
CHENG Xueqi, JIN Xiaolong, WANG Yuanzhuo, et al. propagation[ J] . IEEE transactions on pattern analysis and
Survey on big data system and analytic technology [ J ] . machine intelligence, 1992, 14(1) : 76-86.
Journal of software, 2014, 25(9) : 1889-1908. [34] FLETCHER L, KATKOVNIK V, STEFFENS F E, et al.
[19] STUART D. The data revolution: big data, open data, data Optimizing the number of hidden nodes of a feedforward ar⁃
infrastructures and their consequences[ J] . Online informa⁃ tificial neural network[ C] / / Proceedings of 1998 IEEE In⁃
万方数据
· 740· 智 能 系 统 学 报 第 11 卷
ternational Joint Conference Neural Networks. Anchorage, feature learning for audio classification using convolutional
AK: IEEE, 1998, 2: 1608-1612. deep belief networks[ C] / / Advances in Neural Information
[35] LECUN Y, BENGIO Y, HINTON G. Deep learning[ J] . Processing Systems 22: Conference on Neural Information
Nature, 2015, 521(7553) : 436-444. Processing Systems 2009. Vancouver, British Columbia,
[36] BENGIO Y, COURVILLE A, VINCENT P. A courville Canada, 2009.
and P vincent, representation learning: a review and new [49] HALKIAS X, PARIS S, GLOTIN H. Sparse penalty in
perspectives[ J] . IEEE transactions on pattern analysis and deep belief networks: using the mixed norm constraint[ J] .
machine intelligence, 2013, 35(8) : 1798-1828. Computer science, 2013.
[37] ACKLEY D H, HINTON G E, SEJNOWSKI T J. A learn⁃ [50] POUGETABADIE J,MIRZA M,XU Bing,et al. Generative
ing algorithm for boltzmann machines [ J] . Cognitive sci⁃ adversarial nets [ J] . Advances in neural information pro⁃
ence, 1985, 9(1) : 147-169. cessing systems,2014,3: 2672-2680.
[38] 刘建伟, 刘媛, 罗雄麟. 玻尔兹曼机研究进展[ J] . 计算 [51] YOSHUA Bengio, PASCAL Lamblin, DAN Popovici, et
机研究与发展, 2014, 51(1) : 1-16. al. Greedy layer⁃wise training of deep networks[ C] / / Pro⁃
LIU Jianwei, LIU Yuan, LUO Xionglin. Research and de⁃ ceedings of the Nips, Canada, 2006: 153-160.
velopment on boltzmann machine[ J] . Journal of computer [52] RANZATO M A, BOUREAU Y L, LECUN Y. Sparse fea⁃
research and development, 2014, 51(1) : 1-16. ture learning for deep belief networks [ J] . Advances in
[39] SALAKHUTDINOV R, HINTON G. Deep boltzmann ma⁃ neural information processing systems, 2007, 20: 1185 -
chines[ J] . Journal of machine learning research, 2009, 5 1192.
(2) : 1997-2006. [53] VINCENT P, LAROCHELLE H, BENGIO Y, et al. Ex⁃
[40] SMOLENSKY P. Information processing in dynamical sys⁃ tracting and composing robust features with denoising au⁃
tems: foundations of harmony theory [ M ] . Cambridge, toencoders[ C] / / Proceedings of the International Confer⁃
Mass: MIT Press, 1986: 194-281. ence, F, 2008 .
[41] HINTON G E, SALAKHUTDINOV R R. Reducing the di⁃ [ 54] VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked
mensionality of data with neural networks [ J ] . Science, denoising autoencoders: learning useful representations in
2006, 313(5786) : 504-507. a deep network with a local denoising criterion[ J] . Journal
[42] HINTON G E. Training products of experts by minimizing of machine learning research, 2010, 11(12) : 3371-408.
contrastive divergence[ J] . Neural computation, 2002, 14 [55] JIANG Xiaojuan, ZHANG Yinghua, ZHANG Wensheng,
(8) : 1771-800. et al. A novel sparse auto⁃encoder for deep unsupervised
[43] 张建明, 詹智财, 成科扬, 等. 深度学习的研究与发展 learning[ C ] / / Proceedings of Sixth International Confer⁃
[ J] . 江苏大学学报: 自然科学版, 2015, 36(2) : 191- ence on Advanced Computational Intelligence. Hangzhou:
200. IEEE, 2013: 256-261.
ZHANG Jianming, ZHAN Zhicai, CHENG Keyang, et al. [56] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient⁃based
Review on development of deep learning [ J] . Journal of learning applied to document recognition[ J] . Proceedings
Jiangsu university: natural science edition, 2015, 36(2) : of the IEEE, 1998, 86(11) : 2278-324.
191-200. [57] WANG Wei, OOI B C, YANG Xiaoyan, et al. Effective
[44] 孙志远, 鲁成祥, 史忠植, 等. 深度学习研究与进展 multi⁃modal retrieval based on stacked auto⁃encoders [ J] .
[ J] . 计算机科学, 2016, 43(2) : 1-8. Proceedings of the VLDB endowment, 2014, 7(8) : 649-
SUN Zhiyuan, LU Chengxiang, SHI Zhongzhi, et al. Re⁃ 660.
search and advances on deep learning [ J] . Computer sci⁃ [58] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Ima⁃
ence, 2016, 43(2) : 1-8. geNet classification with deep convolutional neural net⁃
[45] SCHMIDHUBER J. Deep learning in neural networks: an works[ J] . Advances in neural information processing sys⁃
overview [ J] . Neural networks, 2015, tems, 2012, 25(2) : 2012.
[46] CHEN H, MURRAY A. A continuous restricted boltzmann [59] ELMAN J L. Finding structure in time[ J] . Cognitive sci⁃
machine with a hardware⁃amenable learning algorithm[ J] . ence, 1990, 14(2) : 179-211.
Lecture notes in computer science, 2002, 2415: 358-363. [60] HIHI S E, HC⁃J M Q, BENGIO Y. Hierarchical recurrent
[47] LUO Heng, SHEN Ruimin, NIU Changyong. Sparse group neural networks for long⁃term dependencies[ J] . Advances
restricted boltzmann machines [ C ] / / Proceedings of the in neural information processing systems, 1995, 8(493-9.
Twenty⁃Fifth AAAI Conference on Artificial Intelligence. [61 ] HOCHREITER S, SCHMIDHUBER J. Long short⁃term
San Francisco, California, Usa: AAAI Press, 2010. memory[ J] . Neural computation, 1997, 9 ( 8) : 1735 -
[48] LEE H, LARGMAN Y, PHAM P, et al. Unsupervised 1780.
万方数据
第 6 期 马世龙,等:大数据与深度学习综述 · 741·
[ 62] CHO K, MERRIENBOER B V, BAHDANAU D, et al. On ous speech recognition: why DNN surpasses GMMS in a⁃
the properties of neural machine translation: encoder⁃de⁃ coustic modeling[ C] / / Proceedings of the 8th International
coder approaches[ J] . Computer science, 2014, Symposium on Chinese Spoken Language Processing ( ISC⁃
[63] MNIH V, HEESS N, GRAVES A, et al. Recurrent models SLP) . Kowloon: IEEE, 2012: 301-305.
of visual attention[ J] . Computer science, 2014, 3(2204- [ 76 ] Microsoft. Microsoft audio video indexing service [ EB /
12. OL] . [ 2016 - 11 - 11] . https: / / www. microsoft. com / en⁃
[64] GOODFELLOW I, POUGETABADIE J, MIRZA M, et al. us / research / project / mavis / .
Generative adversarial Nets[ J] . Advances in neural infor⁃ [ 77] SEIDE F, LI Gang, YU Dong. Conversational speech tran⁃
mation processing systems, 2014, 2672-80. scription using context⁃dependent deep neural networks
[ 65] RADFORD A, METZ L, CHINTALA S. Unsupervised rep⁃ [C] / / INTERSPEECH 2011, Conference of the Interna⁃
resentation learning with deep convolutional generative ad⁃ tional Speech Communication Association. Florence, Italy,
versarial networks[ J] . Computer science, 2015, 2011.
[66] XUE J H, TITTERINGTON D M. Comment on “ on dis⁃ [78] MORIN F, BENGIO Y. Hierarchical probabilistic neural
criminative vs. generative classifiers: a comparison of lo⁃ network language model[ C] / / Proceedings of the Tenth In⁃
gistic regression and naive Bayes” [ J] . Neural processing ternational Workshop on Artificial Intelligence and Statis⁃
letters, 2008, 2(3) : 169-87. tics. Society for Artificial Intelligence and Statistics, 2005.
[67] HINTON G E, OSINDERO S, TEH Y W. A fast learning [79] COLLOBERT R, WESTON J. A unified architecture for
algorithm for deep belief nets [ J ] . Neural computation, natural language processing: deep neural networks with
2006, 18(7) : 1527-1554. multitask learning [ C] / / Proceedings of the 25th Interna⁃
[68] LECUN Y, JACKEL L D, BOTTOU L, et al. Learning al⁃ tional Conference on Machine Learning ( ICML) . NEC La⁃
gorithms for classification: a comparison on handwritten boratories America, Inc, 2008.
digit recognition[ M] / / OH J H, CHO S. Neural Networks: [80] MNIH A, HINTON G. A scalable hierarchical distributed
The Statistical Mechanics Perspective. Singapore: World language model [ C ] . Proceedings of the Conference on
Scientific, 1995. Neural Information Processing Systems, Vancouver, British
[69] LE Q V. Building high⁃level features using large scale un⁃ Columbia, Canada, 2008.
supervised learning[ C] / / Proceedings of 2013 IEEE Inter⁃ [ 81] MIKOLOV T, KOMBRINK S, ĈERNOCKǏ J, et al. Exten⁃
national Conference on Acoustics, Speech and Signal Pro⁃ sions of recurrent neural network language model [ C] / /
cessing ( ICASSP) . Vancouver, BC: IEEE, 2013: 8595- Proceedings of 2011 IEEE International Conference on A⁃
8598. coustics, Speech and Signal Processing ( ICASSP ) .
[70] NYTIMES. In a big network of computers evidence of ma⁃ Prague: IEEE, 2011.
chine learning[ EB / OL] . [2016-11-11] .http: / / www.ny⁃ [82] MIKOLOV T, DEORAS A, POVEY D, et al. Strategies
times. com / 2012 / 06 / 26 / technology / in⁃a⁃big⁃network⁃of⁃ for training large scale neural network language models
computers⁃evidence⁃of⁃machine⁃learning.html? pagewanted [ C] / / Proceedings of 2011 IEEE Workshop on Automatic
= all. Speech Recognition and Understanding. Waikoloa, HI:
[71] SUN Yi, WANG Xiaogang, TANG Xiaoou. Deep learning IEEE, 2011.
face representation from predicting 10,000 classes [ C] / / [83] MIKOLOV T, ZWEIG G. Context dependent recurrent
Proceedings of 2014 IEEE Conference on Computer Vision neural network language model[ C] / / Proceedings of 2012
and Pattern Recognition. Columbus, OH: IEEE, 2014. IEEE Spoken Language Technology Workshop ( SLT) . Mi⁃
[72] BBC. Artificial intelligence: Google ' s AlphaGo beats Go ami, FL: IEEE, 2012.
master lee Se⁃dol [ EB / OL] . 2016. [ 2016 - 11 - 11] . ht⁃ [84] MIKOLOV T, KARAFIT M, BURGET L, et al. Recur⁃
tp: / / www.bbc.com / news / technology-35785875. rent neural network based language model [ C] / / Proceed⁃
[73] SILVER D, HUANG J, MADDISON C J, et al. Mastering ings of the INTERSPEECH 2010, 11th Conference of the
the game of go with deep neural networks and tree search International Speech Communication Association. Maku⁃
[ J] . Nature, 2016, 529(7587) : 484-489. hari, Chiba, Japan, 2010.
[ 74] MOHAMED A R, DAHL G E, HINTON G. Acoustic mod⁃ [ 85] HUANG E H, SOCHER R, MANNING C D, et al. Impro⁃
eling using deep belief networks[ J] . IEEE transactions on ving word representations via global context and multiple
audio, speech, and language processing, 2012, 20 ( 1) : word prototypes [ C ] / / Proceedings of the Meeting of the
14-22. Association for Computational Linguistics: Long Papers,
[75] PAN Jia, LIU Cong, WANG Zhiguo, et al. Investigation of F, 2012.
deep neural networks ( DNN) for large vocabulary continu⁃ [86] MIKOLOV T, CHEN K, CORRADO G, et al. Efficient es⁃
万方数据
· 742· 智 能 系 统 学 报 第 11 卷
第十二届中国生物特征识别大会
2017 Chinese Conference On Biometric Recognition
中国生物特征识别大会( Chinese Conference on Biometric Recognition) 是由中国人工智能学会( CAAI) 主办的
国内生物特征识别领域的学术盛会。 自 2000 年始,CCBR 已经在北京、杭州、西安、广州、济南、沈阳、天津和成都
等地成功举办了 11 届,有力促进了国内本领域的学术和技术发展。
第十二届中国生物特征识别大会( CCBR2017) 将于 2017 年 10 月 28 - 29 日在深圳举行,由深圳大学计算机与
软件学院和哈尔滨工业大学( 深圳) 计算机科学与技术学院联合承办。 本届会议将汇聚国内从事生物特征识别理
论与应用研究的广大科研工作者,并邀请国际同行,共同分享我国生物特征识别研究的最新理论和技术成果,为
大家提供精彩的学术盛宴。
征文范围包括( 不局限于) :
生物特征获取装置; 步态识别;
生物特征信号质量评价与增强; 其他生物特征的识别与处理;
基于生物特征的情感计算; 多模态生物识别与信息融合;
人脸检测、识别与跟踪; 生物特征数据库建设与合成;
指纹、掌纹、静脉识别; 大规模生物特征识别系统;
虹膜识别; 生物特征识别系统防伪与安全;
说话人识别; 生物特征识别系统评估及应用。
笔迹( 含签名) 识别;
会议网站:http: / / cv.szu.edu.cn / ccbr2017 /
万方数据