[无责任乱翻] M.L.是咩啊

[无责任乱翻] Machine Learning, Wald I, July 2002

M.L.是咩啊？（这个缩写邪恶吧）

神经网络（Neural Net，NN）大约发明于1985年，它将两个不同的团体带到了一起：
脑科学家——用NN为人脑的各种功能建模
计算机学者——研究语音识别（Speech Recognition）、字迹识别（Written Character Recognition）以及其他一些困难的预测问题（Prediction Problem）

之后：
一群机器人狂热分子也加入了这个团体，他们感兴趣的有：
监督式训练（Supervised Training）、自学习机器人（Self-learning Robots）

还有：
其余杂七杂八的团体，人工智能（Artificial Intelligence）、PCA学习（PAC Learning）

然后，有个毛会——NIPS（Neural Information Processing Systems）诞生了。刚开始，NIPS是各种NN应用目的萌发的温床。NN在预测问题上工作得很好，尽管存在它有一坨局部极值，尽管它总是面临过拟合（Overfitting）的危险。一些牛掰的人开始裁剪NN巨大的结构，来解决一些特殊的问题，比如旋转平移无关的字母识别，等等。

再后来，NIPS发展啊发展啊，变得越来越复杂，包含很多兴趣完全不同的团体，比如信号处理（Signal Processing）、机器视觉（Computer Vision），等等等等。

到了2000后，NIPS上发表的论文五花八门，也迎来了越来越多的外籍与会者，他们中大多数是计算机学者，还有一些工程师、物理学家、数学家。都很年轻，30来岁，充满活力。他们的工作都是严格意义上算法级别的。也是这个时候，M.L.在统计学方向，迎来了荒野上的第一阵歌声。预测问题成为研究热点，包括回归（Regression）和分类（Classification）。

2001年，重大的突破，两类牛掰算法的诞生：
-- 支持向量机（Support Vector Machines，Vapnik）
-- 联合预测模型（Combining Predictors）：Bagging（Breiman）、Boosting（Freund and Schapire）
Bagging和Boosting都是将一坨小预测模型联合在一起，组成强模型（“我来组成头部！”“我来组成身体！”“我来组成腿~~！”“…”）。
不同的是它们的训练过程。
Bagging，又叫Bootsrap Aggregating，将样本集随机采样形成若干个子样本集，其中一些样本可能出现多次，而另一些则可能一次都不出现。Bagging针对每一个子样本集训练一个弱模型，再把它们联合起来形成强模型，联合的方法通常对于回归问题是Average，对于分类问题则是Voting。典型的算法，比如Random Forests。
Boosting，可能稍微有名一点，则是在迭代训练过程中，逐渐改变各个样本的权重，来生产新的弱模型，并加入强模型。在训练过程中，被成功识别或离回归函数近的样本权重不断下降，而错误识别或离回归函数远的样本则权重不断增加，这类似于高考前做模拟题时老师总是叮嘱好好看做错的题目，一样的道理。典型的算法，比如有名的AdaBoost。
（SVM我跳过，不感兴趣，简单地说是个将已经很复杂的样本空间折腾到一乱七八糟的超空间然后画一超平面的算法）

再后来的事，就是现在的事了，统计学习统治世界什么的。不过，我一向认为统计学习并不是机器学习——尤其是人工智能——的终点，因为人类似乎并不是这么思考的。