二、机器学习走向深度学习

机器学习是人工智能研究发展到一定阶段的必然产物。20世纪50年代至70年代初，人工智能研究处于“推理期”，彼时，人们以为，只要赋予机器逻辑推理能力，机器就能具有智能。

这一阶段的代表性工作主要有纽厄尔和西蒙的“逻辑理论家”（Logic Theorist）程序及此后的“通用问题求解”（General Problem Solving）程序等，这些工作在当时取得了令人振奋的结果。比如，“逻辑理论家”程序在1952年证明了著名数学家罗素和怀特海的名著《数学原理》中的38条定理，在1963年证明了全部52条定理。纽厄尔和西蒙正因为这方面的工作获得了1975年的图灵奖。

然而，随着研究向前发展，人们逐渐认识到，仅具有逻辑推理能力是远远实现不了人工智能的。要使机器具有智能，就必须设法使机器拥有知识。在这一阶段，机器学习开始萌芽。

1952年，IBM科学家亚瑟·塞缪尔开发的西洋跳棋程序，驳倒了普罗维登斯提出的机器无法超越人类的论断，提出了像人类一样写代码和学习的模式。他创造了“机器学习”这一术语，并将它定义为“可以提供计算机能力而无须显式编程的研究领域”。

但由于人工智能大环境的降温，从20世纪60年代中期到70年代末期，机器学习的发展步伐几乎处于停滞状态。无论是理论研究还是计算机硬件限制，人工智能领域的发展遇到了很大的瓶颈。虽然这个时期温斯顿（Winston）的结构学习系统和海斯·罗思（Hayes Roth）等的基于逻辑的归纳学习系统取得了较大的进展，但只能学习单一概念，而且未能投入实际应用。而神经网络学习机因理论缺陷也未能达到预期效果而转入低潮。

进入20世纪80年代，机器学习进入重振时期。1981年，伟博斯在神经网络反向传播（BP）算法中具体提出多层感知机模型。这也让BP算法在1970年以“自动微分的反向模型”（Reverse Mode of Automatic Differentiation）为名提出来后真正发挥效用，并且直到今天，BP算法仍然是神经网络架构的关键要素。

在新思想迭起下，神经网络的研究再一次加快。1985—1986年，神经网络研究人员相继提出了使用BP算法训练的多参数线性规划（MLP）的理念，成为后来深度学习的基石。

在另一个谱系中，1986年，昆兰提出了“决策树”机器学习算法，即ID3算法。此后发展的ID4、回归树、CART算法等至今仍然活跃在机器学习领域中。

支持向量机（SVM）的出现是机器学习领域的另一大重要突破，算法具有非常强大的理论地位和实证结果。与此同时，机器学习研究分为神经网络（Neural Network, NN）和SVM两派。然而，在2000年左右提出了带核函数的支持向量机后，SVM在许多以前由NN占优的任务中获得了更好的效果。此外，SVM相对于NN还能利用所有关于凸优化、泛化边际理论和核函数的深厚知识。因此SVM可以从不同的学科中大力推动理论和实践的改进。

2006年，神经网络研究领域领军者杰弗里·辛顿提出了神经网络Deep Learning算法，使神经网络的能力大大提高，并得以挑战支持向量机。2006年，辛顿发表在Science上的一篇文章正式开启了深度学习在学术界和工业界的浪潮。2015年，为纪念人工智能概念提出60周年，杨立昆、约书亚·本吉奥和辛顿推出了深度学习的联合综述。

深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据表示，这些方法在许多方面都带来了显著的改善，让图像、语音等感知类问题取得了真正意义上的突破，将人工智能推进到一个新时代。