什么是结构误差和经验误差?训练模型的时候如何判断已经达到最优?
经验风险(经验损失):模型 关于训练数据集的平均损失 $$ R_{\rm emp}(f) = \frac{1}{N} \sum_{i=1}^N L(y_i,f(x_i)) $$ 结构风险:是在经验风险上加上表示模型复杂度的正则化项 $$ R_{\rm srm}(f) = \frac{1}{N} \sum_{i=1}^{N}L(y_i,f(x_i))+\lambda J(f) $$ 经验风险最小化的策略认为,经验风险最小的模型是最优的模型。
结构风险最小化是为了防止过拟合而提出的,结构风险最小化等价于正则化。结构风险最小化的策略认为结构风险最小的模型是最优的模型。