一、数据追加 概念 和 方法

数据仓库 数据追加 :

• "数据追加" 概念 : 数据仓库 数据初装 完成之后 , 再向数据仓库中输入新的数据 , 称为 “数据追加” ;
• "数据追加" 内容 : 在上次数据初装 / 数据追加 后 , 变化的数据 ( 不变的数据不管 , 更新变化的数据 ) ;

"数据追加" 途径 :

• 时标方法
• DELTA 文件法
• 前后映像文件法
• 日志文件法

二、时标方法

时标方法 :

• 前提 : 数据含有 时标 字段 ;
• 操作 : 对新 插入 或 更新 的数据记录 , 加上最新的时标 ;

缺点 : 很多数据库中的属性字段中 , 没有 “时标” 字段 , 此时就无法进行数据追加 ;

三、DELTA 文件法

DELTA 文件法 : 设计应用程序 , 让 应用程序 负责 生成 DELTA 文件 , 记录数据改变的内容 ;

优点 : 效率高 , 避免扫描整个数据库 ;

缺点 :

• 应用问题 : 生成 DELTA 文件 需要应用程序进行 , 不是所有的应用都有该功能 ;
• 更改应用 : 需要更改应用程序 , 开发生成 DELTA 文件功能 ;
• 应用数量 : 应用数量很多 , 几万 , 十几万个 , 每个应用都添加 生成 DELTA 文件的功能 , 很难实现 ;

四、前后映像文件法

前后映像文件法 : 先对数据库做一次快照 $A$ , 抽取数据库数据 到 数据仓库 中 , 在做一次快照 $B$ , 对比 $AB$ 两个快照的差异 , 确定追加的数据 ;

"前后映像文件法" 缺点 : 扫描一次数据库都很占用资源 , 这里对比 $2$ 个快照 , 需要扫描 $2$ 次数据库 , 这样会 占用大量的资源 , 影响系统性能 ;

五、日志文件法

日志文件法 :

• 数据库固有机制 : 利用 传统数据库 的固有机制 , 日志文件机制 , 数据库可以根据日志文件进行数据恢复 ;
• 操作数据 : 将 数据库 的日志文件取出 , 读取该日志文件 , 该日志文件中有数据的增删查改操作内容 , 日志文件中进行了哪些修改 , 数据仓库中进行对应的数据追加 ;
• 优点 : 只用顺序读取日志文件 , 不需要扫描整个数据库 ;
• 缺点 : 日志文件机制 , 是根据 OLTP 需求进行设计的 , 将数据的全部变化过程都记录下来 , 数据仓库对数据变化的过程不关心 , 只关心最终结果 ; 如 商品的采购价格 , 经过多轮谈判 , 开始 100 元 , 经过反复谈判 , 先改成 99 元 , 又改成 97 元 , 最终是 95 元 , 这里只关心最终价格 , 变化的过程的数据 , 数据仓库是不关心的 ;

文章来源: hanshuliang.blog.csdn.net，作者：韩曙亮，版权归原作者所有，如需转载，请联系作者。

原文链接：hanshuliang.blog.csdn.net/article/details/107902078