梯度下降法公式推导 梯度下降法求迭代关系式

本教程深入探讨了利用梯度下降法从零实现线性回归时，因输入数据过大导致的数值溢出（溢出）和无效值（NaN）问题。我们将分析这些错误产生的原因，强调并数据缩放（数据） Scaling）作为解决这类数值不稳定性的关键策略，通过具体代码示例展示如何有效处理大数值输入，确保模型训练的稳定性和准确性。线性回归与梯度下降中的数值稳定性挑战

线性回归是一种基础且广泛使用的预测模型，通经过找到最佳的线性来导出数据。当从零开始实现线性回归时，梯度下降法是初始模型参数（权重）的常用优化关系算法。然而，在实际操作中，如果不注意数据特性，梯度下降过程可能会遇到数值稳定性问题，例如运行时警告：遇到溢出和运行时警告：遇到无效值等错误，这通常会导致模型参数变得无穷大（inf）或非数字（nan），从而使训练失败。问题诊断：为何出现溢出与NaN？

当输入特征（features）和目标值（targets）的数值范围过大时，骤降算法在迭代过程中极易出现数值求解。这主要说明在以下几个方面：

假设函数（假设）的计算：假设 = np.dot(self.features， self.params)在每次计算迭代中，模型参数self.params会根据梯度进行更新。如果self.features的数值很大，即使self.params最初值不大，其乘积np.dot(self.features， self.params)也可能迅速变得非常大。

成本函数（Cost Function）的：cost_function = (1 / (2 * self.num_samples)) * np.dot((pred_vals - self.targets).T， pred_vals - self.targets) 成本函数通常采用均方误差（Mean Squared Error，MSE），其中包含误差项的平方。当pred_vals或self.targets数值过大时，它们的差值就会逐渐增大，导致成本函数的值迅速增长，甚至超出浮点数的表示范围，从而导致溢出。

参数更新（参数）更新过程：self.params = self.params - (alpha / self.num_samples) * (self.features.T @ (self.hypothesis() - self.targets))梯度更新项 self.features.T @ (self.hypothesis() - self.targets)涉及特征矩阵的转置与相位项的矩阵乘法。如果self.features和相位项（self.hypothesis() - self.targets）的数值都很大，这个乘积会变得非常巨大，导致self.params在一次更新后就直接跳变到inf。一旦参数变为inf，后续的计算（如inf - inf）将产生NaN，从而使整个训练过程崩溃。

上述问题在提供的代码示例中表现严重：class LinearRegression： def __init__( self， features： np.ndarray[np.float64]， Targets： np.ndarray[np.float64]， ) -gt； None： self.features = np.concatenate((np.ones((features.shape[0]， 1))， features)， axis=1) self.targets = 目标 self.params = np.random.randn(features.shape[1] 1) self.num_samples = features.shape[0] self.num_feats = features.shape[1] self.costs = [] def假设(self) -gt； np.ndarray[np.float64]： return np.dot(self.features， self.params) def cost_function(self) -gt； np.float64： pred_vals = self.hypothesis() # 注意：原始问题描述中可能存在对成本函数公式的误解或不同版本， #但核心问题会造成重大损失导致的故障。

return (1 / (2 * self.num_samples)) * np.dot((pred_vals - self.targets).T， pred_vals - self.targets) def update(self， alpha： np.float64) -gt； None： self.params = self.params - (alpha / self.num_samples) * (self.features.T @ (self.hypothesis() - self.targets)) def GradientDescent(self， alpha： np.float64， threshold： np.float64， max_iter： int) -gt； None： converged = False counter = 0 未收敛： counter = 1 curr_cost = self.cost_function() self.costs.append(curr_cost) self.update(alpha) new_cost = self.cost_function() if abs(new_cost - curr_cost) lt； threshold： converged = True if counter gt； max_iter：verged = True登录后复制

当使用如features=np.linspace(0， 1000， 200).reshape((20， 10))和targets=np.linspace(0， 200， 20)这样包含大数值的输入时，很快就会遇到RuntimeWarning：在matmul中遇到溢出和RuntimeWarning：在标量中遇到无效值数据缩放：解决方案的核心

解决数值急剧下降稳定性问题的关键策略是数据缩放（Data Scaling）。数据缩放通过特征和目标值的评分范围，指定更小、更容易处理的改变区间，从而避免计算过程中的转型。常用的数据缩放方法包括：标准化（标准化/Z分数标准化）：将数据均值变为0，标准差为1的分布。公式为（x - 均值）/ std_dev。归一化（Normalization / Min-Max Scaling）：将数据缩放到一个固定的范围，通常是[0， 1]或[-1， 1]。公式为(x - min) / (max - min)。

对于本例中的问题，简单的互连输入数据除以一个适当的点（例如1000）就可以有效地将数据范围缩小，从而解决补救问题。

该方法虽然不是标准的标准化或归一化，但在数据范围已知且所有值都为正的情况下，能够有效地解决数值过大的问题。后面的代码示例

为了解决上述数值溢出问题，我们只需要在实例化LinearRegression类时，对输入features和targets进行适当的调整。以下是修改后的使用示例：import numpy as np# 假设LinearRegression类已定义如上#输入修改后面的数据：将原始大数值数据按比例缩小# 例如，将范围从 [0， 1000] 缩小到 [0， 1] 更小的范围scaled_features = np.linspace(0， 1000， 200， dtype=np.float64).reshape((20， 10)) / 1000scaled_targets = np.linspace(0， 200， 20， dtype=np.float64) / 1000# 使用缩放后的实例数据化并运行梯度下降regr = LinearRegression(features=scaled_features，targets=scaled_targets)regr.gradientDescent(0.1， 1e-3， 1e 3)# 打印最终的成本函数值final_cost = regr.cost_function()print(fquot；训练后的最终成本： {final_cost}quot；)# 示例输出可能为：训练后的最终成本： 0.00474225348416323登录后复制

通过将特征和目标都除以1000，我们成功将它们的评分范围缩小，从而避免了在急剧下降过程中出现溢出和NaN的错误。模型现在能够稳定地收敛，并给出一个有效的成本函数值。实践建议与注意数据问题的重要性：数据缩放是机器工作学习流程中的关键步骤。它不仅能解决数值稳定性选择合适的缩放方法：根据数据的缩放特性和模型的要求，选择合适的缩放方法。对于大多数情况，标准化（sklearn.preprocessing.StandardScaler）或归一化（sklearn.preprocessing.MinMaxScaler）是首选。学习率（alpha）的选择：如果数据经过缩放，学习率a lpha的选择仍然关键。过大的学习率可能导致振荡或发散，过小学习率则会使收敛速度过慢。通常需要通过实验来找到最佳训练率。监控成本函数：在过程中，持续监控成本函数的值是诊断问题和评估模型收敛情况的有效方法。成本函数应随着迭代次数的增加而逐渐减小并趋于稳定。调试数值问题：当遇到inf或NaN等数值误差时，应检查涉及的变量（如模型参数、梯度、成本函数）在计算过程中数值精度：在Python中使用NumPy时，默认的数据类型通常是float64，这提供了足够的精度。但在极端情况下，如果数据范围仍然非常大，可能需要考虑更重的浮点数类型（如果语言或库支持）。

通过理解更新的数值特性并间接进行数据示意图，我们可以有效地避免常见的数值稳定性问题，确保线性回归模型的成功训练和应用。

以上就是梯度下降法实现线性回归的数值稳定性：溢出与NaN问题解析与数据缩放策略的详细内容，更多请关注乐哥常识网其他相关文章！