【小资说库】第11期 什么是WAL日志?WAL日志存在的理由是什么?

举报
灵犀晨 发表于 2020/08/12 15:55:43 2020/08/12
【摘要】 我在想,这节的标题叫“通过什么机制可以保证事务持久化的可靠性?”是否更合适。但是鉴于大家听到WAL日志这个概念比较多,我还是决定把标题写成现在的样子。什么是WAL日志预写式日志(Write-ahead logging,缩写 WAL)是关系数据库系统中用于提供原子性和持久性(ACID属性中的两个)的一系列技术。为什么要使用WAL日志的生动说明https://blog.csdn.net/WinW...

我在想,这节的标题叫“通过什么机制可以保证事务持久化的可靠性?”是否更合适。但是鉴于大家听到WAL日志这个概念比较多,我还是决定把标题写成现在的样子。

什么是WAL日志

预写式日志(Write-ahead logging,缩写 WAL)是关系数据库系统中用于提供原子性和持久性(ACID属性中的两个)的一系列技术。

为什么要使用WAL日志的生动说明

https://blog.csdn.net/WinWill2012/article/details/71719106

预写日志(WAL,Write Ahead Log)是关系数据库系统中用于提供事务原子性和持久性(ACID属性中的两个)的一系列技术。简单来说就是,做一个操作之前先将这件事情记录下来。

举个例子:很多人都会有自己的备忘录,记录自己干了哪些事,这里的WAL日志就好比备忘录,记录了你做了哪些操作。

为什么要使用WAL呢?比如你的备忘录里面有如下记录:

2015.12.25 理发

2015.12.28 整容

2015.12.31 修指甲

如果某一天你忘记了自己是如何变成现在这个样子的,那你可以去翻看你的备忘录,然后按照备忘录的记录依次执行,你就能找到答案。

为什么要使用WAL呢?上面的解释比较秀逗,本节说一下真正的原因:真正的执行操作可能数据量会比较大,操作比较繁琐,并且写数据不一定是顺序写,所以如果每一次操作都要等待结果flush到可靠存储(比如磁盘)中才执行下一步操作的话,效率就太低了。换一种思路,如果我们在做真正的操作之前,先将这件事记录下来,持久化到可靠存储中(因为日志一般很小,并且是顺序写,效率很高),然后再去执行真正的操作。这样执行真正操作的时候也就不需要等待执行结果flush到磁盘再执行下一步,因为无论在哪一步出错,我们都能够根据备忘录重做一遍,得到正确的结果。

为什么需要WAL日志的技术解释

PostgresSQL“可靠性和预写式日志”一节对WAL日志存在的理由给出了很好的说明。摘抄和整理如下,更详细地可以访问链接进行了解。

一句话总结就是,计算机主存和磁盘盘片间存在多层高速缓存,不仅写的慢,而且加大了将数据直接写到盘片(实现永久存储)这一过程中因失去电力、操作系统失败以及硬件失败等带来的数据丢失风险。

http://www.postgres.cn/docs/10/wal.html

可靠性是任何严肃的数据库管理系统的重要属性。可靠性的一个重要方面就是:一个已提交事务记录的所有数据应该被存储在一个非易失的区域, 这样就不会因为失去电力、操作系统失败以及硬件失败(当然,除了非易失区域自身失效之外)等原因导致的数据丢失。 向计算机的永久存储(磁盘驱动器或者等效的设备)成功写入数据通常可以满足这个要求。 实际上,即使计算机受到致命损坏,只要磁盘驱动器幸存下来,那么它们就可以被移动到另外一台具有类似硬件的计算机上, 而所有已经提交的事务将保持原状。

周期地强制数据进入磁盘盘片看上去像一件简单的操作,但实际上并非如此。 因为磁盘驱动器比内存和CPU要慢很多,在计算机的主存和磁盘盘片之间存在多层的高速缓存。

首先存在的就是操作系统的高速缓存,该缓存经常缓冲常用的磁盘块且经常合并对磁盘的写入。 幸运的是,所有操作系统都给予应用一种强制从高速缓存写入磁盘的方法,PostgreSQL则使用了那个特性(参阅wal_sync_method参数调节如何完成之)。

然后就是磁盘驱动器的控制器上可能还有一个高速缓存;这在RAID控制卡上是特别常见的。有些高速缓存是直写式的,即写入动作在到达的时候就立刻写入到磁盘上。其它是回写式的, 即发送给驱动器的数据在稍后的某个时间写入驱动器。这样的高速缓存可能会称为可靠性灾难,因为磁盘控制器高速缓存的内存是易失性的,在发生电力失败的情况下会丢失其内容。 好一些的控制器卡有后备电池单元BBU), 即这种卡上面有电池可以在系统电力失败的情况下提供电力。 在电力恢复之后,这些数据将会被写入磁盘驱动器。

最后,大多数磁盘驱动器都有高速缓存。有些是直写的,有些是回写的, 和磁盘控制器一样,回写的磁盘高速缓存也存在数据丢失的问题。 消费级别的IDESATA驱动器尤其可能包含回写式高速缓存,在掉电的情况下很容易丢失数据。很多固态驱动器(SSD)也具有易失性回写式高速缓存。

这些高速缓存通常可以被禁用,但是不同的操作系统和驱动器类型有不同的做法:

l   Linux上,可以使用hdparm -I查询IDESATA驱动器,如果在Write cache之后有一个*则表示写高速缓存被启用。可以用hdparm -W 0来关闭写高速缓存。可以使用sdparm查询SCSI驱动器。使用sdparm --get=WCE来检查写高速缓存是否被启用,而sdparm --clear=WCE可以用来禁用它。

l   FreeBSD上,IDE驱动器可以使用atacontrol查询,而写高速缓存可以用/boot/loader.conf中的hw.ata.wc=0关闭。SCSI驱动器可以使用camcontrol identify查询,而写高速缓存的查询和更改都可以使用sdparm

l   Solaris上,磁盘的写高速缓存被format -e控制(SolarisZFS文件系统对于开启的磁盘写高速缓存是安全的,因为它会发出它自己的磁盘高速缓存刷写命令)。

l   Windows上,如果wal_sync_methodopen_datasync(默认值),写高速缓存可以通过取消选中My Computer\Open\disk drive\Properties\Hardware\Properties\Policies\Enable write caching on the disk禁用。另一种方法可以通过设置wal_sync_methodfsyncfsync_writethrough来阻止写高速缓存。

l   macOS上,通过设置wal_sync_methodfsync_writethrough可以阻止写高速缓存。



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。