002-基于Sklearn的机器学习入门：回归分析（上）

本节及后续章节将介绍机器学习中的几种经典回归算法，所选方法都在Sklearn库中聚类模块有具体实现。本节为上篇，将介绍基础的线性回归方法，包括线性回归、逻辑回归、多项式回归和岭回归等。

2.1 回归分析概述

回归（Regression）分析是机器学习领域中最古老、最基础，同时也是最广泛应用的问题之一，应用十分广泛。

简而言之，回归分析旨在建立一个模型，使用这个模型可以用一组特征（自变量）来预测一个连续的结果（因变量）。举一个容易理解的例子，我们可以使用房间的面积、楼层、位置、周边配套等特征来预测该商品房的房价高低，在这个例子中，房价是因变量，且是连续变化的，可以在一定非负区间内取任何实数值，而影响房价的各个因素，成为自变量，自变量可以是各种类型的值，但为了回归分析方便，通常将自变量也转换为数值类型。

2.1.1 回归与分类

回归问题是预测一个连续值的输出（因变量）基于一个或多个输入（自变量或特征）的机器学习任务。换句话说，回归模型尝试找到自变量和因变量之间的内在关系。

回归和分类是两类典型的监督学习问题，两者的主要区别在于输出类型和评价指标不同，如下：

• 输出类型：回归模型通常用来预测连续值（如价格、温度等），分类模型用来预测离散标签（如0/1）。
• 评估指标：回归通常使用均方误差（MSE）、R²分数等作为评估指标，而分类则使用准确率、F1分数等。

2.1.2 常见的回归方法

在此主要介绍Sklearn中实现的几类典型的回归方法，

• 线性回归：线性回归是回归问题中最简单也最常用的一种算法。它的基本思想是通过找到最佳拟合直线来模拟因变量和自变量之间的关系。
• 多项式回归：与线性回归尝试使用直线拟合数据不同，多项式回归使用多项式方程进行拟合。
• 支持向量回归：它是支持向量机（SVM）的回归版本，用于解决回归问题。它试图找到一个超平面，以便在给定容忍度内最大程度地减小预测和实际值之间的误差。
• 决策树回归：它是一种非参数的、基于树结构的回归方法。它通过将特征空间划分为一组简单的区域，并在每个区域内进行预测。

回归算法全解析！一文读懂机器学习中的回归模型-腾讯云开发者社区-腾讯云 (tencent.com)

2.2 线性回归

的