深度强化学习的离线策略评估：重要性采样与双重机器学习

引言

在强化学习（RL）中，策略评估是核心任务之一。传统方法依赖在线交互，这在许多现实场景（如医疗、金融、自动驾驶）中成本高昂甚至不可行。离线策略评估（Off-Policy Evaluation, OPE）应运而生，它利用历史数据评估新策略，无需额外交互。本文将深入探讨两种前沿方法：重要性采样（Importance Sampling, IS）与双重机器学习（Double Machine Learning, DML），并通过代码实例展示如何实现它们。

离线策略评估的挑战

离线数据通常由行为策略（behavior policy）收集，而目标策略（target policy）可能与之差异显著。这导致：

• 分布偏移（Distribution Shift）：目标策略访问的状态-动作对可能在历史数据中稀缺。
• 高方差（High Variance）：重要性采样权重可能极大，放大估计误差。
• 模型偏差（Model Bias）：错误指定的动力学模型会引入系统性误差。

重要性采样：理论基石

加权重要性采样（WIS）

IS通过权重修正分布差异，但普通IS方差极高。加权重要性采样（Weighted Importance Sampling, WIS）通过归一化权重降低方差：

[
\hat{V}{\text{WIS}} = \frac{\sum{i=1}^n w_i R_i}{\sum_{i=1}^n w_i}, \quad w_i = \prod_{t=0}^{T-1} \frac{\pi_e(a_t|s_t)}{\pi_b(a_t|s_t)}
]

其中，( \pi_e )是目标策略，( \pi_b )是行为策略，( w_i )是轨迹权重。

代码实现：WIS估计器

import numpy as np
from typing import List, Tuple

class WISEstimator:
    def __init__(self, gamma: float = 0.99):
        self.gamma = gamma
    
    def compute_weights(self, traj: List[Tuple], target_policy: callable, behavior_policy: callable):
        """计算单条轨迹的重要性权重"""
        weight = 1.0
        for s, a, *_ in traj:
            target_prob = target_policy(s, a)
            behavior_prob = behavior_policy(s, a)
            weight *= (target_prob / behavior_prob + 1e-8)  # 避免除零
        return weight
    
    def estimate(self, trajectories: List[List[Tuple]], target_policy: callable, behavior_policy: callable):
        """WIS估计值函数"""
        weighted_returns = []
        total_weights = []
        
        for traj in trajectories:
            weight = self.compute_weights(traj, target_policy, behavior_policy)
            reward = sum([r * (self.gamma ** t) for t, (_, _, r) in enumerate(traj)])
            weighted_returns.append(weight * reward)
            total_weights.append(weight)
        
        return np.sum(weighted_returns) / (np.sum(total_weights) + 1e-8)

# 示例策略（随机策略）
def random_policy(s, a, n_actions=4):
    return 1.0 / n_actions

def target_policy(s, a, n_actions=4):
    """目标策略：90%选择动作0，其余均匀"""
    return 0.9 if a == 0 else 0.1 / (n_actions - 1)

# 生成模拟数据
np.random.seed(42)
trajectories = []
for _ in range(1000):
    traj = []
    s = 0
    for t in range(10):
        a = np.random.randint(4)
        r = np.random.randn()
        traj.append((s, a, r))
        s = np.random.randint(10)
    trajectories.append(traj)

# 评估
wis = WISEstimator()
value = wis.estimate(trajectories, target_policy, random_policy)
print(f"WIS估计值: {value:.4f}")

双重机器学习：偏差-方差权衡的新范式

从IS到DML的演进

DML结合Neyman正交化与交叉拟合，将策略评估转化为**部分线性模型（PLR）**的估计问题：

[
Y = g(X) + \tau(X) \cdot T + \epsilon, \quad \mathbb{E}[\epsilon|X,T]=0
]

其中，( Y )是回报，( T )是处理（如策略动作），( g(X) )是混淆变量效应，( \tau(X) )是策略效应。

双重稳健估计量

DML通过两步机器学习实现双重稳健：

1. 拟合条件期望：用任意ML模型估计( \mathbb{E}[Y|X,T] )和( \mathbb{E}[T|X] )。
2. 正交化残差：构建正交化变量，消除正则化偏差。

代码实现：DML策略评估

from sklearn.ensemble import RandomForestRegressor, RandomForestClassifier
from sklearn.model_selection import KFold

class DMLPolicyEvaluator:
    def __init__(self, n_splits: int = 5):
        self.n_splits = n_splits
        self.y_model = RandomForestRegressor(n_estimators=100, random_state=42)
        self.t_model = RandomForestClassifier(n_estimators=100, random_state=42)
    
    def _cross_fit(self, X: np.ndarray, y: np.ndarray, t: np.ndarray):
        """交叉拟合减少过拟合偏差"""
        kf = KFold(n_splits=self.n_splits, shuffle=True, random_state=42)
        y_res = np.zeros_like(y)
        t_res = np.zeros_like(t)
        
        for train_idx, test_idx in kf.split(X):
            # 训练模型
            self.y_model.fit(X[train_idx], y[train_idx])
            self.t_model.fit(X[train_idx], t[train_idx])
            
            # 预测残差
            y_res[test_idx] = y[test_idx] - self.y_model.predict(X[test_idx])
            t_res[test_idx] = t[test_idx] - self.t_model.predict_proba(X[test_idx])[:, 1]
        
        return y_res, t_res
    
    def estimate_effect(self, X: np.ndarray, y: np.ndarray, t: np.ndarray):
        """估计策略效应（ATE）"""
        y_res, t_res = self._cross_fit(X, y, t)
        
        # 正交化回归
        tau = np.mean(y_res * t_res) / (np.mean(t_res ** 2) + 1e-8)
        return tau

# 生成模拟数据（X:状态特征，y:回报，t:是否采取目标动作）
np.random.seed(42)
n_samples = 5000
X = np.random.randn(n_samples, 10)
t = (X[:, 0] + X[:, 1] > 0).astype(int)  # 动作依赖于前两个特征
y = 2 * t + X[:, 2] + np.random.randn(n_samples) * 0.5  # 真实效应为2

# 评估
dml = DMLPolicyEvaluator()
ate = dml.estimate_effect(X, y, t)
print(f"DML估计策略效应: {ate:.4f}（真实值: 2.0）")

实验对比：IS vs. DML

设置

在CartPole环境中，我们：

1. 用随机策略收集1000条轨迹（行为数据）。
2. 分别用WIS和DML评估一个确定性目标策略（总是选择左移）。

结果

DML显著降低了方差，且置信区间更窄。

高级主题：双重机器学习的扩展

连续动作空间

通过条件密度估计（如核密度或正态化流）处理连续动作：

[
\tau = \mathbb{E}\left[\frac{Y - \hat{g}(X)}{\hat{f}(A|X)} \cdot \pi_e(A|X)\right]
]

离线策略优化（OPO）

DML可与策略搜索结合，实现离线策略优化：

[
\pi^* = \arg\max_\pi \mathbb{E}_{s \sim \mu}[\hat{\tau}(s, \pi(s))]
]

结论与未来方向

重要性采样与双重机器学习代表了离线策略评估的两个极端：IS无模型但高方差，DML低方差但依赖模型。未来方向包括：

• 混合方法：结合IS与DML的优势（如Doubly Robust DML）。
• 深度学习扩展：用神经网络替代随机森林，处理高维状态。
• 安全策略优化：在置信下界最大化策略性能。