AI批改作文的准确性与局限性分析

关键词：作文自动评分、AES、BERT、微调、可解释性、数据偏差

1. 背景与问题定义

1.1 为什么需要AI批改作文

传统人工批改成本高、一致性差、反馈滞后，而大规模写作教学（如托福/雅思、K12作文、企业内训）需要及时、可扩展、标准化的评分与诊断。
自动作文评分（Automated Essay Scoring, AES）系统应运而生，核心任务包括：

• 整体评分（holistic score）
• 维度诊断（trait feedback，如内容、结构、语言）

1.2 研究痛点

• 准确性：在开放题目、跨文化语境、创意写作上仍显著低于人工。
• 可解释性：黑盒模型难以给出“为什么得 8 分”的透明理由。
• 数据偏差：训练集偏向高分模板，导致对非主流写作风格歧视。

2. 技术路线总览

本文聚焦第 3、4 阶段，以中文 K12 议论文为例，展示如何：

1. 利用 RoBERTa-wwm-ext 微调一个整体评分模型；
2. 构建一个可输出“内容/结构/语言”维度得分的多任务模型；
3. 用 LIME/Grad-CAM 做可解释性诊断，并指出模型盲区。

3. 数据准备与评测指标

3.1 数据集

• CLPE (Chinese Language Primary-level Essays)：12 万篇 6–9 年级议论文，每篇 500–800 字。
• 评分标准：总分 0–20；维度分（内容、结构、语言）各 0–6。
• 数据分布：严重不平衡（高分段 40%）。使用 SMOTE+权重重采样 缓解。

3.2 评测指标

• 整体评分：Quadratic Weighted Kappa (QWK) ≥0.80 视为可用。
• 维度评分：Macro-F1（多分类）+ Pearson r（回归）。
• 人工对比：随机 100 篇双盲标注，计算 AI vs 人工一致性。

4. 单任务评分模型

4.1 模型结构

使用 Chinese-RoBERTa-wwm-ext 作为 Encoder，后接 [CLS] 向量 → 全连接 → Sigmoid（回归）。

from transformers import BertTokenizerFast, BertModel
import torch.nn as nn

class HolisticScorer(nn.Module):
    def __init__(self, model_path='hfl/chinese-roberta-wwm-ext', hidden=768):
        super().__init__()
        self.bert = BertModel.from_pretrained(model_path)
        self.regressor = nn.Sequential(
            nn.Dropout(0.3),
            nn.Linear(hidden, 1)
        )
    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids=input_ids,
                            attention_mask=attention_mask)
        cls = outputs.last_hidden_state[:, 0, :]
        score = torch.sigmoid(self.regressor(cls)) * 20   # 映射到0-20
        return score

4.2 训练代码

from datasets import load_dataset
from transformers import TrainingArguments, Trainer
from sklearn.metrics import cohen_kappa_score

def compute_qwk(eval_pred):
    preds, labels = eval_pred
    preds = (preds * 20).round().astype(int)
    labels = (labels * 20).round().astype(int)
    return {"qwk": cohen_kappa_score(labels, preds, weights='quadratic')}

dataset = load_dataset('json', data_files={'train':'train.jsonl','test':'test.jsonl'})
tokenizer = BertTokenizerFast.from_pretrained('hfl/chinese-roberta-wwm-ext')

def tokenize(batch):
    return tokenizer(batch['text'], truncation=True, max_length=512)

dataset = dataset.map(tokenize, batched=True).rename_column('score','labels')
dataset.set_format(type='torch', columns=['input_ids','attention_mask','labels'])

args = TrainingArguments(
    output_dir='./holistic',
    per_device_train_batch_size=8,
    learning_rate=2e-5,
    num_train_epochs=3,
    evaluation_strategy='epoch',
    metric_for_best_model='qwk'
)

trainer = Trainer(
    model=HolisticScorer(),
    args=args,
    train_dataset=dataset['train'],
    eval_dataset=dataset['test'],
    compute_metrics=compute_qwk
)
trainer.train()

4.3 实验结果

5. 多任务维度诊断

5.1 任务定义

同时预测 3 个维度分，共享 Encoder，分别接 3 个任务头。

class TraitScorer(nn.Module):
    def __init__(self, model_path='hfl/chinese-roberta-wwm-ext'):
        super().__init__()
        self.bert = BertModel.from_pretrained(model_path)
        self.dropout = nn.Dropout(0.3)
        self.heads = nn.ModuleDict({
            'content': nn.Linear(768, 1),
            'structure': nn.Linear(768, 1),
            'language': nn.Linear(768, 1)
        })
    def forward(self, input_ids, attention_mask):
        x = self.bert(input_ids, attention_mask).last_hidden_state[:, 0]
        x = self.dropout(x)
        return {k: torch.sigmoid(h(x)) * 6 for k, h in self.heads.items()}

5.2 训练策略

• 损失函数：MSE(content) + MSE(structure) + MSE(language)，并给不平衡样本加权。
• 训练脚本与单任务类似，只需返回 dict_loss 给 Trainer。

5.3 结果

6. 可解释性分析

6.1 句子级贡献度

使用 Integrated Gradients 计算每个 token 对得分的贡献。

from captum.attr import IntegratedGradients

model = TraitScorer().eval()
ig = IntegratedGradients(model)

def explain(text, trait='content'):
    inputs = tokenizer(text, return_tensors='pt')
    attributions = ig.attribute(inputs['input_ids'],
                                target=None if trait is None else 0,
                                n_steps=50)
    return attributions[0].sum(dim=1).detach().numpy()

6.2 案例

输入段落：

“网络利大于弊，因为……（中间省略）……所以我认为网络利大于弊。”

可视化热图发现：

• 高频词“网络”“弊”获得高正贡献；
• 模板句“所以我认为”几乎无贡献；
• 创意比喻“像空气一样无处不在”被模型忽视（贡献≈0），表明模型对修辞敏感度低。

7. 局限性深入剖析

7.1 数据偏差

• 高分模板污染：训练集中“首先、其次、最后”结构文章占比 60%，导致模型对非三段式结构降分。
• 文化语境缺失：方言、古汉语引用被误判为“语言错误”。

7.2 语义深度不足

• 论证有效性：模型无法识别“循环论证”“稻草人谬误”等逻辑漏洞。
• 创意评分：比喻新颖性、情感张力缺乏可靠标签，模型输出保守。

7.3 对抗攻击

通过 同义词替换 即可降低 0.5–1.0 分（见下例）。

# 对抗示例
original = "网络像空气一样无处不在"
perturbed = "因特网宛如大气般无处不存"
print(model(original)['language'])  # 5.8
print(model(perturbed)['language'])  # 5.2

8. 未来方向

1. 引入逻辑图：用 Discourse Parser 抽取论点-论据图，显式建模推理链。
2. 多模态：结合语音、手写笔迹，降低模板化作文优势。
3. 人机协同：AI 预打分 + 教师复核，让模型在不确定区域主动“说我不知道”。
4. 联邦学习：跨校/跨机构合作，解决隐私与数据孤岛。

9. 结论

• 准确性：预训练+微调在 0–20 分整体评分上已接近人类（QWK≈0.85）。
• 局限性：维度诊断、修辞、逻辑、文化差异仍是硬骨头。
• 工程建议：
  • 先上线“粗粒度”整体评分，再逐步开放维度反馈；
  • 在 UI 层面强制展示解释热图，降低教师抵触；
  • 每半年用新作文增量微调，对抗模板化漂移。