使用Scikit-learn训练GradientBoosting分类器

什么是Gradient Boosting？

梯度提升（Gradient Boosting）是一种集成学习方法，它通过顺序地组合多个弱学习器（通常是决策树）来构建一个强大的预测模型。其核心思想是在每一轮迭代中，新加入的模型都沿着之前模型损失函数的梯度下降方向进行拟合，从而逐步减少预测误差。

GBDT（Gradient Boosting Decision Tree）是梯度提升在决策树上的具体实现，它在回归和分类任务上都有出色的表现，尤其适合表格数据（tabular data）。Scikit-learn提供了两种梯度提升树的实现：GradientBoostingClassifier和HistGradientBoostingClassifier，前者适合中小规模数据集，后者在大数据集（样本数 ≥ 10,000）上速度更快。

GradientBoostingClassifier的核心参数

在使用GradientBoostingClassifier之前，了解其关键参数非常重要。以下是几个最核心的参数：

1. Boosting框架参数

• n_estimators（默认=100）：弱学习器的数量，即要构建多少棵决策树。增大该值通常能提升性能，但也可能带来过拟合风险。调参时通常与learning_rate一起考虑。

• learning_rate（默认=0.1）：每棵树对最终输出的贡献权重，也称为步长。较小的学习率需要更多的树来达到相同的拟合效果。learning_rate和n_estimators之间存在权衡关系。

• subsample（默认=1.0）：每棵树训练时使用的样本比例。当小于1.0时，即为随机梯度提升（Stochastic Gradient Boosting），可以减少方差、防止过拟合，但会略微增加偏差。推荐取值范围在[0.5, 0.8]之间。

• loss（默认=‘log_loss’）：要优化的损失函数。log_loss（即对数似然/偏差）适合需要概率输出的分类任务；exponential则相当于AdaBoost算法。

2. 决策树参数

• max_depth（默认=3）：每棵回归树的最大深度，限制了树的节点数量。深度越大，模型越复杂，容易过拟合。

• min_samples_split（默认=2）：内部节点再划分所需的最小样本数。

• min_samples_leaf（默认=1）：叶节点所需的最小样本数。

• max_features（默认=None）：寻找最佳分割时考虑的特征数量。

3. 其他重要参数

• random_state：随机数种子，保证结果可复现。

• validation_fraction和n_iter_no_change：配合使用可实现早停（early stopping），在验证集性能不再提升时提前终止训练。

实战：使用鸢尾花数据集训练分类器

下面通过一个完整的示例演示如何使用GradientBoostingClassifier。

步骤1：导入库和加载数据

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score, classification_report
import numpy as np

# 加载鸢尾花数据集
iris = load_iris()
X, y = iris.data, iris.target

# 分割训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

步骤2：创建并训练模型

# 创建GradientBoostingClassifier
clf = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3,
    random_state=42
)

# 训练模型
clf.fit(X_train, y_train)

步骤3：预测与评估

# 预测
y_pred = clf.predict(X_test)

# 计算准确率
print("准确率:", accuracy_score(y_test, y_pred))
# 输出: 准确率: 1.0

# 详细分类报告
print(classification_report(y_test, y_pred, target_names=iris.target_names))

步骤4：获取概率预测

predict_proba方法可以返回每个样本属于各类别的概率，这在需要置信度评估的场景中非常有用：

# 获取概率预测
probabilities = clf.predict_proba(X_test)
print(probabilities[:5])

步骤5：查看特征重要性

训练完成后，可以通过feature_importances_属性查看每个特征的重要性得分：

# 特征重要性
for name, importance in zip(iris.feature_names, clf.feature_importances_):
    print(f"{name}: {importance:.4f}")

超参数调优：使用网格搜索

实际应用中，找到最优的超参数组合至关重要。下面展示如何使用GridSearchCV进行系统性的调参：

from sklearn.model_selection import GridSearchCV

# 定义参数搜索空间
param_grid = {
    'n_estimators': [50, 100, 200],
    'learning_rate': [0.01, 0.05, 0.1],
    'max_depth': [3, 4, 5],
    'subsample': [0.8, 0.9, 1.0]
}

# 创建网格搜索对象
grid_search = GridSearchCV(
    GradientBoostingClassifier(random_state=42),
    param_grid,
    cv=5,
    scoring='accuracy',
    n_jobs=-1
)

# 执行搜索
grid_search.fit(X_train, y_train)

# 输出最佳参数和最佳得分
print("最佳参数:", grid_search.best_params_)
print("最佳交叉验证得分:", grid_search.best_score_)

# 使用最佳模型进行预测
best_clf = grid_search.best_estimator_
y_pred_best = best_clf.predict(X_test)
print("测试集准确率:", accuracy_score(y_test, y_pred_best))

早停（Early Stopping）的使用

梯度提升支持早停机制，可以在验证集性能不再提升时提前终止训练，从而节省计算资源并防止过拟合：

clf_early = GradientBoostingClassifier(
    n_estimators=1000,  # 设置一个较大的上限
    learning_rate=0.1,
    max_depth=3,
    validation_fraction=0.1,
    n_iter_no_change=10,
    tol=1e-4,
    random_state=42
)

clf_early.fit(X_train, y_train)
print("实际使用的树的数量:", clf_early.n_estimators_)

使用袋外估计（Out-of-Bag Estimation）

袋外估计是交叉验证的一种替代方法，可以在训练过程中即时计算验证指标，无需额外的拟合过程：

clf_oob = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    subsample=0.8,
    oob_score=True,
    random_state=42
)

clf_oob.fit(X, y)
print("袋外估计得分:", clf_oob.oob_score_)