从文献阅读到数据集建设：把论文变成可训练数据

摘要

对于很多科研机器学习任务来说，公开数据集并不现成，数据往往需要从大量文献中手动整理。本文介绍如何把文献阅读转化为数据集建设流程，让论文中的表格、实验条件和结果变成可用于机器学习建模的结构化数据。

1. 文献阅读不只是做笔记

传统文献阅读主要关注研究背景、方法和结论。
但如果目标是建立机器学习数据集，还需要额外关注：

• 实验变量
• 样本数量
• 测试条件
• 结果指标
• 单位
• 数据是否能提取
• 是否存在重复数据

也就是说，文献阅读要从“理解论文”扩展到“提取数据”。

2. 先设计数据字段，再读文献

不要一边读一边随意记录。建议先建立字段模板：

sample_id
paper_id
year
input_feature_1
input_feature_2
input_feature_3
target_value
unit
notes

字段模板越清楚，后续整理越稳定。

3. 表格数据优先，图片数据谨慎

文献中的数据来源通常有三类：

正文描述
表格数据
图像曲线

优先提取表格数据，因为误差最小。
图像曲线可以借助工具读取，但必须在备注中说明数据来自图像提取。

4. 每条数据都要能回到原文

每一行数据都应该能追溯到：

论文标题
作者
年份
DOI
表格编号或图编号
页码

这样后续发现异常值时，可以快速核对原始文献。

5. 处理不同文献之间的不一致

不同论文常常有不同单位、不同测试标准、不同命名方式。

例如：

28 days, 28d, 28-day
standard curing, water curing
compressive strength, cube strength, cylinder strength

这些内容需要统一编码，否则模型会把同类信息当成不同变量。

6. 数据集不是一次完成的

文献数据集通常需要多轮迭代：

第一轮：建立字段
第二轮：录入核心数据
第三轮：统一单位
第四轮：检查异常值
第五轮：补充来源信息
第六轮：开始建模

不要期待一次整理就完美。数据集建设本身就是科研工作的一部分。

总结

把文献变成机器学习数据，不只是复制表格，而是一个系统的数据工程过程。字段设计、单位统一、来源追溯和质量检查决定了后续建模结果是否可信。