过拟合是指学习时选择的模型所包含的参数过多，以至出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象。

当训练集效果差，欠拟合（如accuracy<0.8）；训练集效果好，测试集效果差，过拟合

欠拟合解决方法：

1. 增加特征
2. 提高模型复杂度：神经网络提高神经元数、增加层数；SVM使用核函数；
3. 减小正则项的系数

过拟合解决方法：

1. 提高样本数量 ：

   神经网络：Data Augmentation（数据增强）

2. 简化模型：

   神经网络使用 Dropout、Early Stopping
   决策树剪枝、限制树的深度

3. 加入正则化项（L1或L2）或提高惩罚系数
4. 使用集成学习
5. 神经网络中使用dropout机制
6. early stopping
7. 标签平滑