【漫话机器学习系列】101.特征选择法之Lasso（Lasso For Feature Selection）

Lasso 特征选择法详解

1. Lasso 回归简介

Lasso（Least Absolute Shrinkage and Selection Operator，最小绝对收缩和选择算子）是一种基于 L1 范数正则化的线性回归方法。它不仅能够提高模型的泛化能力，还可以自动进行特征选择，即将一些不重要的特征的系数收缩到 0，从而减少模型的复杂度。

2. Lasso 回归的数学公式

Lasso 回归的目标函数如下：

$\min_w \sum_{i=1}^{n} (y_i - X_i w)^2 + \alpha \sum_{j=1}^{k} |w_j|$

其中：

$X_i$ 是输入数据，
w 是待求的回归系数，
$y_i$ 是目标值，
α 是正则化超参数（也称为阿尔法参数），用于控制正则化的强度，
$\sum |w_j|$ 是 L1 范数的正则化项。

与 Ridge 回归（L2 正则化）不同，Lasso 使用L1 范数作为正则化项。L1 正则化的特点是可以使部分回归系数直接变为 0，从而进行特征选择。

3. Lasso 正则化的作用

Lasso 主要通过 L1 正则化来调整回归系数，使其具有以下特性：

降低过拟合风险
- 在高维数据中，普通线性回归可能会导致模型过拟合（overfitting），而 Lasso 通过对系数施加约束，使模型更加稳健。
特征选择（Feature Selection）
- 由于 L1 正则化可以直接使某些特征的系数变为 0，因此 Lasso 可以自动筛选出最重要的特征，而忽略不重要的特征，从而提高模型的可解释性。
模型稀疏性（Sparsity）
- Lasso 生成的模型是稀疏的（即许多特征的权重为 0），这在高维数据中尤为重要。例如，在基因数据分析、文本分类等应用中，特征的数量可能远远大于样本数，Lasso 能够有效减少模型复杂度。

4. Lasso 与 Ridge 的区别

Lasso 和 Ridge 都是常用的正则化方法，但它们在数学性质和应用上有所不同。

对比项	Lasso（L1 正则化）	Ridge（L2 正则化）
正则化项	$( \sum$	$w_j$
影响方式	可以使权重变为 0，进行特征选择	只会缩小权重，但不会变为 0
计算复杂度	计算较难（非凸优化）	计算较简单（凸优化）
适用场景	适用于高维稀疏数据	适用于所有特征都重要的情况

📌 总结：如果你的数据集有很多无关特征，建议使用 Lasso；如果所有特征都可能重要，建议使用 Ridge。

5. Lasso 回归中的超参数 α

Lasso 回归中的 α 参数决定了正则化的强度：

α 越大，正则化越强，更多的权重被收缩为 0，最终选出的特征更少。
α 过小，则正则化效果减弱，Lasso 退化为普通的线性回归。

如何选择合适的 α\alphaα？

通常使用交叉验证（Cross Validation）来选择最优的 α 值。例如，在 Scikit-Learn 中，我们可以使用 LassoCV 进行自动调优：

from sklearn.linear_model import LassoCV

lasso_cv = LassoCV(alphas=[0.1, 0.01, 0.001, 0.0001], cv=5)
lasso_cv.fit(X_train, y_train)

print("Optimal alpha:", lasso_cv.alpha_)

这将自动选择最优的 α 值，以获得最佳的特征选择效果。