线性回归原理与代码实现

线性回归是机器学习中最基础的算法之一，用于建立输入变量（特征）与输出变量（目标）之间的线性关系。以下是其核心原理及Python实现。

数学原理

线性回归模型表示为：
$y = wX + b$
其中：

• $y$ 是预测值
• $X$ 是输入特征矩阵
• $w$ 是权重（斜率）
• $b$ 是偏置项（截距）

目标是最小化损失函数（均方误差）：
$L = \frac{1}{N}\sum_{i=1}^N (y_i - (wX_i + b))^2$

代码实现

import numpy as np

class LinearRegression:
    def __init__(self):
        self.w = None  # 权重
        self.b = None  # 偏置

    def fit(self, X, y, learning_rate=0.01, epochs=1000):
        # 初始化参数
        n_samples, n_features = X.shape
        self.w = np.zeros(n_features)
        self.b = 0

        # 梯度下降
        for _ in range(epochs):
            y_pred = np.dot(X, self.w) + self.b
            
            # 计算梯度
            dw = (1/n_samples) * np.dot(X.T, (y_pred - y))
            db = (1/n_samples) * np.sum(y_pred - y)
            
            # 更新参数
            self.w -= learning_rate * dw
            self.b -= learning_rate * db

    def predict(self, X):
        return np.dot(X, self.w) + self.b

使用示例

# 生成示例数据
X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

# 训练模型
model = LinearRegression()
model.fit(X, y)

# 预测
print(model.predict(np.array([[5]])))  # 输出接近10

关键点说明

• 梯度下降：通过迭代调整参数使损失函数最小化
• 学习率：控制参数更新步长，过大可能无法收敛，过小收敛慢
• 特征缩放：在实际应用中建议对特征做标准化处理

扩展建议

• 添加正则化（L1/L2）防止过拟合
• 实现批量梯度下降/随机梯度下降变体
• 添加模型评估指标（如R²分数）

这段代码完整实现了线性回归的核心逻辑，包含训练和预测功能，适合初学者理解算法本质。实际应用时可结合Scikit-learn等库进行优化。

公式解析

该公式表示均方误差损失函数（Mean Squared Error, MSE），常用于回归问题的模型训练中，用于衡量模型预测值与真实值之间的差异。

• 符号说明：
  • $N$：样本数量。
  • $y_i$：第 $i$ 个样本的真实值。
  • $X_i$：第 $i$ 个样本的特征向量。
  • $w$：模型权重参数（可能是标量或向量，取决于 $X_i$ 的维度）。
  • $b$：偏置项（截距）。
  • $wX_i + b$：模型的线性预测值。

数学意义

公式计算所有样本的预测误差平方的平均值：

1. 对每个样本，计算预测值 $wX_i + b$ 与真实值 $y_i$ 的差值。
2. 对差值取平方，消除正负影响并放大较大误差。
3. 对所有样本的平方误差求和并除以样本数 $N$，得到平均误差。

代码实现（Python）

import numpy as np

def mean_squared_error(y_true, y_pred):
    """
    计算均方误差损失
    :param y_true: 真实值数组，形状 (N,)
    :param y_pred: 预测值数组，形状 (N,)
    :return: MSE 标量值
    """
    return np.mean((y_true - y_pred) ** 2)

# 示例用法
y_true = np.array([3, 5, 7])
y_pred = np.array([2.5, 5.1, 7.8])
mse = mean_squared_error(y_true, y_pred)
print(f"MSE: {mse:.4f}")

优化目标

在训练中，通过调整 $w$ 和 $b$ 最小化 $L$：

• 使用梯度下降等优化算法，计算 $L$ 对 $w$ 和 $b$ 的偏导数：
  • $\frac{\partial L}{\partial w} = -\frac{2}{N}\sum_{i=1}^N X_i(y_i - (wX_i + b))$
  • $\frac{\partial L}{\partial b} = -\frac{2}{N}\sum_{i=1}^N (y_i - (wX_i + b))$
• 迭代更新参数直至收敛。