1.3统计学习三要素
本书中称由决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型。
损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。
监督学习的两个基本策略：经验风险最小化和结构风险最小化。
当样本容量足够大时，经验风险最小化(empirical risk minimization, ERM)能保证有很好的学习效果，在现实中被广泛使用。但是，当样本容量很小时，经验风险最小化学习的效果就未必很好，会产生“过拟合(over-fitting)”现象。
结构风险最小化(structural risk minimization, SRM)是为了防止过拟合而提出来的策略。
2.3.3感知机学习算法的对偶形式
实例点更新次数越多，意味着它距离分离超平面越近，也就越难正确分类。