311-拟合和过拟合

311-拟合和过拟合

拟合和过拟合，是机器学习回归分析中的术语

https://baike.baidu.com/item/%E8%BF%87%E6%8B%9F%E5%90%88/3359778

拟合

拟合就是把平面上一系列的点，用一条光滑的曲线连接起来。因为这条曲线有无数种可能，从而有各种拟合方法。拟合的曲线一般可以用函数表示，根据这个函数的不同有不同的拟合名字。常用的拟合方法有如最小二乘曲线拟合法等。

如果待定函数是线性，就叫线性拟合或者线性回归(主要在统计中)，否则叫作非线性拟合或者非线性回归。表达式也可以是分段函数，这种情况下叫作样条拟合。

过拟合

‌过拟合‌是指在机器学习过程中，模型在训练数据上表现良好，但在新的、未见过的数据上表现不佳的现象。这通常是因为模型过于复杂（或者因为模型很多很杂），学习了训练数据中的噪声或细节，导致泛化能力差。‌

过拟合的原因

1. ‌模型复杂度过高‌：模型的参数过多或结构过于复杂，导致模型过度拟合训练数据中的噪声。

2. ‌训练数据量较小‌：数据量不足以支持复杂的模型，容易导致模型过拟合。

3. ‌数据噪声较大‌：模型可能学习到数据中的噪声，而非真实的数据分布。

过拟合的判断方法

1. ‌训练误差与测试误差的变化趋势‌：如果训练误差不断下降，而测试误差开始上升，说明模型可能过拟合。

2. ‌学习曲线‌：在学习曲线上，训练误差持续降低，而验证误差降低到一定程度后开始增加。

过拟合的解决方法

1. ‌减少模型复杂度‌：选择参数数量较少、结构较简单的模型。

2. ‌正则化技术‌：通过对模型的参数施加约束，防止模型过度学习训练数据中的噪声。

3. ‌交叉验证‌：将训练数据分为多个部分，使用其中一部分训练模型，其他部分评估性能，以更准确地评估模型的泛化能力。

4. ‌早停法‌：在训练过程中，当验证集的损失不再显著下降时，提前停止训练。

5. ‌数据增强‌：通过对训练数据进行变换（如旋转、缩放、翻转等），增加数据的多样性，帮助模型学习到更一般的特征。