HCIE-AI：数据工程

1.概述

本文主要介绍了大模型预训练数据的预处理和微调数据构造以及 Tokenizer。

2. 目标

3. LLM训练数据及预处理流程介绍

3.1 LLM训练数据

①预训练数据。公开数据：网页数据和开源数据。专有数据：为某一领域、语言、行业的特有数据。

②微调阶段数据。微调数据由人工按照模板编写数据，然后使用方法增强生成更多数据。

3.2 LLM训练数据预处理流程

3.3 网页数据预处理

3.3.1 在大模型预训练阶段，主要采用自回归训练，因此数据无需标注，只需要规范格式、去除无意义标识符、去重重复数据和敏感信息等即可。

3.3.2 Falcon LLM数据预处理技术

3.4 专有数据预处理

①表格数据

⑴采用Text-To-SQL技术把人的自然语言问题转化为数据库SQL语言执行，执行结果在转化为自然语言。

⑵采用各种表格序列化技术，将表格转化为平铺文本。

②PDF数据

通过OCR等技术提取文字。

4. 数据预处理工具

4.1 Data-Juicer

4.2 Jellyfish

4.3 多模态大模型数据预处理技术 Macaw-LLM

4.4 多模态大模型数据预处理技术 ImageBind

5. 微调数据构造

5.1 微调数据自动生成技术总结

5.2 为什么需要指令数据集自动构建技术?

①人工构建数据集多样性差

②人工构建数据集工作量大

6. Tokenizer

6.1 相关定义

分词（Tokenization）是将原始文本切分为若干具有独立语义的词元（token）的过程。

词表（Vocabulary）是由语料库构建出的、包含模型可识别 token 的集合。词表中每个token都分配有唯一的 ID，token 与 ID 之间具有双向的一对一映射。

OOV（Out Of Vocabulary）是指在模型使用阶段，输入文本中出现了不在预先构建词表中的词语，常见的包括网络热词、专有名词、复合词及拼写变体等。

6.2 分词

按照分词粒度的大小，可分为词级（Word-Level）分词、字符级（Character-Level）分词和子词级（Subword‑Level）分词。常见的子词分词算法包括 BPE（Byte Pair Encoding）、WordPiece 和 Unigram Language Model。

7. 总结

本文详细讲解了大模型训练的数据处理和文本分词的技术，笔试占比3%。