6. 深度学习

历史进入新世纪。2004年，执着于神经网络研究的杰弗里•辛顿获得加拿大高级研究院(CIFAR)每年50万加元的经费支持，召集为数不多的同道，启动了“神经计算和自适应感知(Neural Computation and Adaptive Perception, NCAP)”项目。

2006年，辛顿在《科学》发表论文，提出深度信念网络(Deep Belief Networks, DBNs)，掀起了汹涌至今的人工神经网络第三次浪潮。

从网络结构来看，深度信念网络仍然是传统的多层感知机，但增加了一个初始权值训练阶段：利用待处理的样本数据，采用受限玻尔兹曼机，以输出层重构输入层为目标，采用无监督的方法逐层训练，使得多层网络能够高效表达训练数据，一定程度上可以避免反向传播算法陷入局部极小的问题。

由于这次浪潮的核心是多层网络（相对于浅层网络更深）的有效学习问题，往往用“深度学习”来指代。更纯粹地体现深度学习精髓的是自动编码器(Autoencoder)，由深度学习另一位代表人物约舒瓦•本吉奥(Yoshua Bengio)进行了深入研究，采用无监督逐层训练的方法，可让多层神经网络有效表征训练数据的内隐结构。

2012年6月，《纽约时报》报道了谷歌大脑(Google Brain)项目。

吴恩达和谷歌大规模计算专家杰夫•狄恩(Jeff Dean)合作，用1.6万台计算机搭建了一个深度学习神经网络，拥有10亿连接。

向这个网络输入1000万幅从Youtube上随机选取的视频缩略图，在无监督的情况下，这个系统具备了检测人脸、猫脸等对象的能力。

2012年10月，辛顿团队把深度学习用于图像识别，将ImageNet视觉对象分类错误率从26%降低到15%，引发深度学习的全球高潮。

至今计算机识别图像的能力已经和人相差无几，人工智能成为互联网之后全球瞩目的热点。

神经网络第三次浪潮已经成为驱动人工智能新浪潮的主力。

2016年3月，阿尔法狗(AlphaGo)综合深度学习、特征匹配和线性回归、蒙特卡洛搜索和强化学习思想，利用高性能计算(CPU+GPU)和大数据（16万局人类对弈及3000万局自我博弈），一举战胜围棋九段高手李世石，并在数月之内名列世界职业围棋第一位。

人工智能的快速进步吸引了全球目光，世界各国纷纷推出政策或计划推进相关研究，产业界投入也急剧攀升。

比神经网络前两次浪潮幸运的是，计算机性能已经大幅提升。

1957年，罗森布拉特仿真感知机所用的IBM 704每秒完成1.2万次浮点加法，如今超级计算机速度已经达到IBM 704的10万亿倍，通过软件模拟方式构造大规模神经网络具备了技术可行性，特别是通用GPU适合神经网络并行的特点，能更好地发挥神经网络的威力。

但是，以计算机为平台模拟实现神经网络只是过渡性的权宜之计，嫁接在计算机上的人工智能就像一头“半人半马”的怪兽。

例如，AlphaGo就使用了1920个中央处理器和280个GPU，功耗达到了1兆瓦，是与之对战的李世石大脑功率（20多瓦）的5万倍。

7. 智能之路

明斯基和罗森布拉特之争既是书生意气，更是两条技术路线之争。

1955年3月，明斯基和麦卡锡还没开始酝酿人工智能创始会议时，美国西部计算机联合大会就举行了“学习机讨论会”(Session on Learning Machine)，主持人正是神经网络概念模型提出者沃尔特•皮茨。

讨论会的两位主角是奥利弗•赛弗里奇(Oliver Selfridge, 1926-2008)和艾伦•纽厄尔，他们都参加了次年举行的达特茅斯会议。

赛弗里奇10年前开始跟着维纳读博士，从神经网络角度研究模式识别，却一直未获得学位，他在会上发表的就是这方面的文章。

纽厄尔1954年在兰德公司工作，期间听了赛弗里奇用计算机程序识别文字和模式的报告，受启发研制了下棋程序，这也是他在这次会议上报告的内容。

赫伯特•西蒙在兰德学术访问期间被这个下棋程序吸引，力邀纽厄尔到卡耐基梅隆大学商学院读自己的“在职博士”。

两人一同参加了1956年的达特茅斯会议。

1957年，纽厄尔获得博士学位，从此这对师生成为长期合作伙伴。皮茨在会议总结时认为，赛弗里奇和纽厄尔代表了两派观点：“（一派人）企图模拟神经系统，而纽厄尔则企图模拟心智……但殊途同归”，这为随后数十年人工智能“结构”与“功能”两条路线的交织斗争埋下了伏笔。

经典人工智能主张人工智能应从功能模拟入手，将智能视为符号处理过程，采用形式逻辑实现智能，故称为“符号主义(Symbolism)”或“逻辑主义(Logicism)”。

符号主义学派初期过于乐观，赫伯特•西蒙1958年就曾预测计算机10年内就会成为国际象棋冠军。事实上，40年后“深蓝”才战胜国际象棋冠军。

符号主义对能够形式化表达的问题（例如下棋、定理证明）有效，但很多事物（包括大多数人类常识）并不能显式表达，而且即使勉强形式化了，还存在与物理世界的对应问题。

相比之下，视听觉等基本智能，看起来不如逻辑推理“高级”，但符号主义至今难以有效应对。

想象、情感、直觉和创造等人脑特有的认知能力，符号主义更是遥不可及。

经典人工智能的潮起潮落，引起了对人工智能概念的大讨论，结果之一就区分出弱人工智能(weak AI)和强人工智能(strong AI)。

强人工智能也称通用人工智能(Artificial General Intelligence, AGI)，是指达到或超越人类水平的、能够自适应地应对外界环境挑战的、具有自我意识的人工智能。

至今为止的人工智能系统都还是实现特定或专用智能，不像人类智能那样能够不断适应复杂的新环境并不断涌现出新的功能，因此都还是弱人工智能，或称专用智能(applied AI)。

20世纪80年代，经典人工智能式微，机器学习崛起。机器学习研究机器怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，简言之，机器学习把人工智能的重心从如何“制造”智能转移到如何“习得”智能。

机器学习有很多分支，其中部分与人工智能各个流派的基本思想有千丝万缕的联系，

例如强化学习与行为主义、深度学习与多层神经网络。

统计学习是机器学习十分重要的一部分，它基于数据构建概率统计模型并运用模型对数据进行预测和分析，因而被称为“贝叶斯主义”(Bayesiansim)”，或者更一般化地称为统计主义。

机器学习跳出了经典符号主义的思想束缚，让机器自动从数据中获得知识，特别是新世纪以来，数据驱动的人工智能取得了巨大成功。

然而，机器学习的模型仍然是“人工”的，因此仍有其局限性，期望这种“人工模型”能够产生通用人工智能，同样没有坚实依据。

进化主义(evolutionism)在20世纪80年代到90年代掀起人工智能的另一波浪潮。进化主义也称行为主义(behaviourism)，思想源头是控制论，认为智能并不只是来自计算引擎，也来自环境世界的场景、感应器内的信号转换以及机器人和环境的相互作用。

90年代，行为主义代表人物麻省理工学院的罗德尼•布鲁克斯领导研制的各种机器人就走出实验室，进入家庭（吸尘和洗地），登上火星。近年来，万众瞩目的机器大狗BigDog也是这一流派的力作，由麻省理工学院另一名教授马克•雷波特(Marc Raibert)领导。

行为主义的重要贡献是强调环境和身体对智能的重要性。然而，就像心理学中行为主义由盛到衰一样，行为主义如果不打开“大脑”这个黑盒，仍然不可能制造出强人工智能，就像黑猩猩再训练也学不会说话一样，被训练的“智能引擎”如果不到位，训练得再多也没用。

与经典人工智能自顶向下(top down)功能模拟的方法论相反，神经网络走的是自底向上(bottom up)的结构仿真路线。其基本思想是：既然人脑智能是由神经网络产生的，那就通过人工方式构造神经网络，进而产生智能。

因为强调智能活动是由大量简单单元通过复杂相互连接后并行运行的结果，因而被称为“连接主义(connectionism)”。从罗森布拉特的感知机，到当今如日中天的深度学习网络，人们提出了各种各样的人工神经网络，也开发出了越来越强的智能系统，但是，迄今为止的人工神经网络都过度简化，与生物大脑神经网络至少在三个层次还远远不能相提并论。

首先，人工神经网络采用的神经元模型是麦卡洛克和皮茨在1943年提出的，与生物神经元的数学模型相距甚远；

第二，人类大脑是由数百种不同类型的上千亿的神经元所构成的极为复杂的生物组织，每个神经元通过数千甚至上万个神经突触和其他神经元相连接，即使采用适当简化的神经元模型，用目前最强大的计算机来模拟人脑，也还有两个数量级的差异；

第三，生物神经网络采用动作电位表达和传递信息，按照非线性动力学机制处理信息，目前的深度学习等人工神经网络在引入时序特性方面还很初级。

因此，期望“人工”神经网络产生强人工智能，也还只是“碰运气”式的梦想。

如果说强人工智能是技术峰顶上闪耀的圣杯，那么符号主义、连接主义、进化主义和机器学习就是指向四条登顶道路的路标。

然而，60年艰苦攀登之后，圣杯不仅没有越来越近，相反比出发时显得更加遥远。驻足沉思，突然发现横亘在脚下和圣杯之间的山谷日渐清晰……这个深不见底的山谷，就是我们自己的大脑。

这正是：

人工智能一甲子，结构功能两相争；

符号系统Top down，神经网络向上攻；

进化主义玩互动，机器学习调模型； 

欲破智能千古谜，先剖大脑再人工。

本页Url