欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 教育 > 培训 > 第三章 线性回归与感知机

第三章 线性回归与感知机

2025/10/23 20:06:05 来源:https://blog.csdn.net/Xiao651/article/details/148815690  浏览:    关键词:第三章 线性回归与感知机

第三章 线性回归与感知机:从基础模型到分类边界

线性模型是机器学习中最基础且重要的模型类别,它们不仅简单直观,而且为许多复杂模型奠定了基础。本章将详细介绍线性回归和感知机这两类核心线性模型,揭示它们在回归和分类问题中的应用原理。

一、线性回归:预测建模的基石

1.1 线性回归的起源与发展

线性回归的历史可以追溯到19世纪,英国统计学家弗朗西斯·高尔顿在研究父母与子女身高关系时发现了"回归"现象:子女身高趋向于"中亲"身高(父母身高的平均值)与总体平均身高之间的某个值。这一发现奠定了回归分析的基础。

image-20250616142720454

现代应用场景

  • 房价预测:基于房屋面积、位置等特征
  • 销售预测:基于历史销售数据和市场指标
  • 经济分析:GDP增长与各种经济指标的关系

1.2 线性回归模型详解

模型形式
  • 一元线性回归:Y = w₀ + w₁X + ε
  • 多元线性回归:Y = w₀ + w₁X₁ + w₂X₂ + … + wₚXₚ + ε
    image-20250616142942339

其中:

  • Y:目标变量(因变量)
  • X:特征变量(自变量)
  • w:模型参数(权重)
  • ε:随机误差项
矩阵表示

image-20250616142957855

对于包含n个样本、p个特征的数据集,可以表示为:
Y = Xw + ε
其中:

  • Y ∈ ℝⁿ:目标向量
  • X ∈ ℝⁿˣᵖ:设计矩阵
  • w ∈ ℝᵖ:参数向量

1.3 参数估计:最小二乘法

最小二乘法是线性回归最常用的参数估计方法,其核心思想是找到使残差平方和最小的参数值。

image-20250616143320346

优化目标

image-20250616143440824

image-20250616143624886

解析解

image-20250616143713362

image-20250616143740762

几何解释
最小二乘解实际上是在特征空间中找到目标向量Y在设计矩阵X列空间上的正交投影。

1.4 正则化:应对过拟合

当特征维度高或特征间存在多重共线性时,标准最小二乘法可能表现不佳。正则化通过引入惩罚项来解决这些问题。

image-20250616144019045

image-20250616144207843

常见正则化方法

image-20250616144219772

image-20250616144300260

image-20250616144308290

  1. 岭回归(L2正则化)
    • 目标函数:min ||Y - Xw||² + λ||w||²
    • 特点:收缩系数但不产生稀疏解
  2. Lasso回归(L1正则化)
    • 目标函数:min ||Y - Xw||² + λ||w||₁
    • 特点:可产生稀疏解,实现特征选择
  3. Elastic Net
    • 结合L1和L2正则化
    • 适用于特征维度很高且特征间相关性强的场景

1.5 线性回归的局限与扩展

局限性

  • 假设线性关系,无法捕捉非线性模式
  • 对异常值敏感
  • 当特征维度大于样本量时,标准方法失效

扩展方法

  • 多项式回归:通过引入特征的高次项
  • 局部加权回归:赋予不同样本不同权重
  • 广义线性模型:扩展至非正态分布响应变量

二、感知机:线性分类的基础

2.1 感知机的起源与意义

感知机由Frank Rosenblatt于1957年提出,是最早的人工神经网络模型之一。它模拟了生物神经元的工作方式,为现代深度学习奠定了基础。

image-20250616152843657

核心思想
通过线性超平面将特征空间划分为两个区域,分别对应不同的类别。

2.2 感知机模型

模型定义

image-20250616153028193

对于输入特征x,感知机模型为:
f(x) = sign(wᵀx + b)
其中:

  • w:权重向量
  • b:偏置项
  • sign:符号函数,输出+1或-1
几何解释

感知机在特征空间中构造一个分离超平面wᵀx + b = 0,将不同类别的样本分开。

image-20250616153423788

2.3 学习算法

感知机使用基于误分类的损失函数,并通过梯度下降法进行优化。

损失函数

image-20250616153542360

image-20250616153549447

image-20250616153557710

误分类点到超平面的总距离:
L(w,b) = -Σ yᵢ(wᵀxᵢ + b)

原始形式算法

image-20250616153916420

image-20250616153926645

  1. 初始化参数w,b
  2. 选取误分类点(xᵢ,yᵢ)
  3. 更新参数:
    w ← w + ηyᵢxᵢ
    b ← b + ηyᵢ
  4. 重复直到没有误分类点

其中η为学习率,控制参数更新步长。

对偶形式

image-20250616154013482

image-20250616154019570

将对偶形式表示为:
f(x) = sign(Σ αᵢyᵢxᵢᵀx + b)
通过计算Gram矩阵(xᵢᵀxⱼ)可以加速运算。

2.4 感知机的局限与扩展

局限性

  • 仅适用于线性可分数据
  • 对初始值和样本顺序敏感
  • 无法直接处理多分类问题

扩展方法

  • 多层感知机:通过堆叠多个感知机实现非线性分类
  • 支持向量机:最大化分类间隔的线性分类器
  • 核方法:通过核函数处理非线性可分数据

2.5 感知机与线性回归的比较

特性线性回归感知机
任务类型回归分类
输出连续值离散类别
损失函数平方损失0-1损失近似
优化方法最小二乘/梯度下降梯度下降
解的唯一性通常唯一可能多个
正则化常用较少使用

image-20250616154056925

三、本章总结

线性回归和感知机作为机器学习中最基础的线性模型,具有以下核心特点:

  1. 模型简单:线性结构易于理解和实现
  2. 计算高效:通常有解析解或简单迭代算法
  3. 可解释性强:参数直接反映特征重要性
  4. 扩展性强:为更复杂模型奠定基础

在实际应用中需要注意:

  • 线性假设的合理性检验
  • 正则化参数的选择
  • 模型评估与验证方法
  • 对数据质量和特征工程的依赖

理解这些基础模型不仅有助于解决简单问题,更是掌握复杂机器学习方法的重要阶梯。在后续章节中,我们将看到这些线性模型如何演变为更强大的非线性模型。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词