使用Scikit-learn包的BaseEstimator估计器

引言

在Scikit-learn的广阔生态中，有一个类默默地支撑着整个机器学习框架的运转——BaseEstimator。无论你使用的是线性回归、随机森林、SVM，还是任何其他算法，它们都共同继承自这个基类。理解BaseEstimator，是掌握Scikit-learn设计哲学的关键一步，也是构建自定义机器学习模型的起点。

什么是BaseEstimator？

BaseEstimator是Scikit-learn中所有估计器（estimator）的基类。所谓估计器，简单来说就是实现了fit方法的对象——它能够从数据中学习模式。Scikit-learn中的所有分类器、回归器、转换器、聚类器等，其底层都继承自BaseEstimator。

继承BaseEstimator，你的自定义类就能免费获得一系列开箱即用的功能：

为什么需要BaseEstimator？

想象一下，如果没有BaseEstimator，每个Scikit-learn算法都需要自己实现参数获取、参数设置、对象打印等功能，代码中将充斥着大量重复的样板代码（boilerplate code）。BaseEstimator将这些通用功能集中实现，使得Scikit-learn的开发者可以专注于算法本身，而不是基础设施。

更重要的是，BaseEstimator提供的get_params和set_params方法是Scikit-learn生态中参数调优和模型选择工具的基石。GridSearchCV、RandomizedSearchCV等工具正是通过这两个方法来探索和优化超参数空间的。

BaseEstimator的核心方法

get_params(deep=True)

获取估计器的参数，返回一个参数字典。当deep=True时，还会递归获取子对象（如果子对象本身也是估计器）的参数。

set_params(**params)

设置估计器的参数。这个方法支持嵌套对象的参数设置，使用<component>__<parameter>的语法格式——这在Pipeline中尤其有用。

如何继承BaseEstimator

在Scikit-learn中，创建一个自定义估计器通常遵循以下模式：

基本规则

1. 继承BaseEstimator：这是所有估计器的基础。
2. 在__init__中声明所有参数：所有可在类级别设置的参数都必须在__init__中作为显式的关键字参数出现，不允许使用*args或**kwargs。
3. 实现fit方法：这是估计器的核心，用于从数据中学习。
4. 根据需要实现predict、transform等方法：取决于你的估计器类型。
5. 根据任务类型混入（mixin）相应的类：
   • 分类器：混入 ClassifierMixin
   • 回归器：混入 RegressorMixin
   • 转换器：混入 TransformerMixin
   • 聚类器：混入 ClusterMixin

这些mixin类会为你的估计器添加特定类型的方法，例如ClassifierMixin会提供score方法用于计算准确率。

自定义估计器示例

下面是一个完整的自定义分类器示例——一个始终预测常数的分类器：

import numpy as np
from sklearn.base import BaseEstimator, ClassifierMixin
from sklearn.utils.validation import check_X_y, check_array, check_is_fitted

class ConstantClassifier(BaseEstimator, ClassifierMixin):
    """一个始终预测常数的分类器"""
    
    def __init__(self, constant_value=0):
        self.constant_value = constant_value
    
    def fit(self, X, y=None):
        # 检查输入数据的合法性
        X, y = check_X_y(X, y)
        # 标记估计器已经完成训练
        self.is_fitted_ = True
        return self
    
    def predict(self, X):
        # 检查估计器是否已经训练
        check_is_fitted(self, 'is_fitted_')
        # 检查输入数据的合法性
        X = check_array(X)
        # 返回常数预测
        return np.full(X.shape[0], self.constant_value)

使用这个自定义估计器与使用Scikit-learn内置估计器的方式完全一致：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(
    iris.data, iris.target, test_size=0.2, random_state=42
)

# 创建并训练自定义估计器
clf = ConstantClassifier(constant_value=1)
clf.fit(X_train, y_train)

# 预测和评估
y_pred = clf.predict(X_test)
print("准确率:", accuracy_score(y_test, y_pred))

# 获取和设置参数
print(clf.get_params())  # {'constant_value': 1}
clf.set_params(constant_value=2)

验证你的自定义估计器

Scikit-learn提供了一个非常实用的工具函数check_estimator，可以用来验证你的自定义估计器是否符合Scikit-learn的API规范：

from sklearn.utils.estimator_checks import check_estimator

# 检查你的估计器是否符合规范
check_estimator(ConstantClassifier)

如果通过检查，说明你的估计器已经与Scikit-learn生态完全兼容，可以放心地在Pipeline、GridSearchCV等工具中使用。

更复杂的示例：带参数学习的估计器

上面的常数分类器虽然简单，但没有真正从数据中学习。下面是一个稍微复杂的示例——一个简单的线性回归器，它真正从数据中学习参数：

from sklearn.base import BaseEstimator, RegressorMixin
from sklearn.utils.validation import check_X_y, check_array, check_is_fitted
import numpy as np

class SimpleLinearRegressor(BaseEstimator, RegressorMixin):
    """一个简单的线性回归器，使用梯度下降"""
    
    def __init__(self, learning_rate=0.01, n_iterations=100):
        self.learning_rate = learning_rate
        self.n_iterations = n_iterations
        self.coef_ = None
    
    def fit(self, X, y):
        X, y = check_X_y(X, y)
        n_samples, n_features = X.shape
        
        # 初始化权重
        self.coef_ = np.zeros(n_features)
        
        # 梯度下降
        for _ in range(self.n_iterations):
            gradients = 2 / n_samples * X.T.dot(X.dot(self.coef_) - y)
            self.coef_ -= self.learning_rate * gradients
        
        self.is_fitted_ = True
        return self
    
    def predict(self, X):
        check_is_fitted(self, 'is_fitted_')
        X = check_array(X)
        return X.dot(self.coef_)

小结

BaseEstimator是Scikit-learn框架的基石，它提供了：

• 参数管理：get_params和set_params方法，使得超参数调优成为可能
• 统一的接口规范：所有估计器遵循相同的设计模式
• 开箱即用的功能：序列化、字符串表示、参数验证等

通过继承BaseEstimator并混入相应的mixin类，你可以轻松创建与Scikit-learn生态完全兼容的自定义估计器，从而将你自己的算法无缝集成到Scikit-learn的工作流中。无论是学术研究中的新算法，还是业务场景中的特殊需求，BaseEstimator都为你提供了一个坚实而灵活的基础。