《PostgreSQL数据库内核分析》之PostgreSQL体系结构（二）

2.5守护进程Postmaster

多用户模式下一个数据库实例由数据库服务器守护到进程Postmaster来管理。是一个运行在服务器上的总控进程，负责整个系统的启动和关闭，并且在服务进程出现错误时完成系统的恢复。

管理数据库文件、监听并接受来自客户端的连接请求，并为客户端连接请求fork一个Postgres服务进程，代表客户端在接受来自客户端的连接请求。同时Postmaster还管理与数据库运行相关的辅助进程。用户可使用postmaster、postgres或pg_ctl命令启动Postmaster。

2.5.1初始化内存上下文

7.1开始，实现了新的内存管理机制，使得运行时大多数内存分配操作在各种语义的内存上下文（MemoryContext）中运行。内存上下文释放时将会释放在其中分配的所有内存，避免内存泄漏。

MemoryContextInit（TopMemoryContext、ErrorContext） -> AllocSerContextCreate（以TopMemoryContext为根节点创建PostmasterContext） -> 将全局指针CurrentMemoryContext指向PostmasterContext

TopMemoryContext 在TopMemoryContext中分配的内存直到系统退出时才会释放

ErrorContext 错误恢复处理的永久性内存环境，恢复完毕则重设

PostmasterContext Postmaster正常工作的内存环境，由它通过fork函数产生的子进程将会删除这个环境

2.5.2配置参数

GUC（Grand Unified Configuration）模块实现了多种数据类型（boolean、int、float、string四种）

六种类型（通过枚举类型GucContext定义），并且只能在合适的环境下进行配置：

注册完信号处理函数后，将逐行读取data目录下的pg_hba.conf和pg_ident.conf两个配置文件的内容到链表变量中，以用于控制客户端认证。

pg_hba.conf 基于主机认证的配置文件

pg_ident.conf 常用格式为每行一个记录

2.5.3循环等待客户连接请求

PostgreSQL系统采用C/S模式，为每个客户端分配一个后台服务进程Postgres。一次PostgreSQL会话由下列进程组成：

1.服务进程叫Postgres，接受来自客户端应用与数据库连接，并且代表客户端在数据库上执行操作。

2.客户端进程 运行在客户端与Postmaster或Postgres进程交互的进程，比如在客户端运行的psql进程。

2.6辅助进程

PG进程中为每个辅助进程设置了一个全局变量来标识该进程的进程号，分别为SysLoggerPID、BgWriterPID、WalWriterPID、AutoVacPID、PgArchPID、PgStatPID 0表示为启动

2.6.1SysLogger系统日志进程

可设置日志文件的大小，SysLogger会在日志文件达到指定的大小时关闭当前日志文件，产生新的日志文件。

2.6.2BgWriter后台写进程

BgWriter是PG中在后台将脏页写出到磁盘的辅助进程，引入该进程主要为达到如下两个目的：

1.定期写出缓冲区中的部分脏页到磁盘中，为缓冲区腾出空间，可降低查询处理被阻塞的可能性；

2.定期作检查点时需要把所有脏页写出到磁盘，通过BgWriter预先写出一些脏页，可以减少设置检查点时要进行的IO操作，使系统的IO负载趋向平稳。避免了其他进程在需要读入新的页面到共享缓冲区时，不得不将之前修改过的页面写出到磁盘的操作。 8.0以后的特性

2.6.3WalWriter预写式日志写进程

Write Ahead Log / Xlog

对数据文件的修改必须之恶能发生在这些修改已经记录到日志之后 8.3之后的特性

WAL日志文件存放在数据集簇中的pg_xlog目录中

每个段16MB，并分割成若干页，每页8KB。日志记录头格式在xlog.h里描述，内容决定于它记录的事件的类型。一个段文件的名字由24个十六进制字符组成，分为三部分，每个部分由8个十六进制组成。

WAL缓冲区和控制结构在共享内存中，用轻量的锁来保护，对共享内存的需求由缓存区数量决定，默认的WAL缓冲区大小是8个8KB的缓冲区（即64KB）

2.6.4PgArch预写式日志归档进程

8.x提出了PITR（Point-In-Time-Recovery）技术，支持将数据库恢复到其运行历史中任意一个有记录的时间点。

除了WalWriter外，PITR的另一个重要的基础就是对WAL文件的归档功能。PgArch辅助进程的目标就是对WAL日志在磁盘上的存储形式（Xlog文件）进行归档备份。

2.6.5AutoVacuum系统自动清理进程

自动vacuum和analyze，回收被标记为删除状态记录的空间，更新表的统计信息

2.5.6PgStat统计数据收集进程

Pgstat辅助进程是PostgreSQL数据库系统的统计信息收集器，专门负责收集数据库系统运行中的统计信息，如在一个表和索引上进行多少此插入和更新操作、磁盘块的数量和元组的数量、每个表上最近一次执行清理和分析操作的时间，以及统计每个用户自定义函数嗲偶哦那个执行的时间等。

2.7服务进程Postgres

用户命令分为两种：1.查询命令，插入、删除、更新和选择；2.非查询命令，如创建/删除表、视图、索引等命令。服务进程Postgres根据不同的命令类型选择不同的策略进行处理

Postgres进程主要源码位于src/backend/tcop文件夹下，主要文件包括：

1.服务进程源代码文件postgres.c,是Postgres的入口文件，负责管理查询的整体流程

2.对于查询命令进行处理的源代码文件pquery.c，执行各种非查询命令

3.对于非查询命令进行处理的源代码文件utility.c，执行各种非查询命令

4.dest.c的代码主要处理Postgres和远端客户的一些消息通信操作，并负责返回命令的执行结果

​

1.将参数设置为默认值

2.根据命令行参数配置参数

3.读配置文件重新设置参数

单用户模式下这三步和Postmaster完全相同。

命令行方式的参数设置优先级是高于缺省设置的，将会覆盖缺省设置。命令行参数有很多，和Postmaster一样，在Postgres中仍使用while+switch控制结构读入参数并进行配置。

之后Postgres还将从Port结构得到客户端传递的GUC选项，然后根据GUC选项的具体请跨u那个调用SetConfigOption进行设置。

2.7.1设置信号处理和信号屏蔽

Postgres中信号的注册方式和Postmaster类似，因此这里只对Postgres中处理的信号及其意义进行介绍，其中有几个重要的信号处理函数意义如下：

1.SIGHupHandler 当配置文件发生改变时产生此信号。服务进程在收到SIGHUP信号时重读配置文件postgresql.conf，并重新装载pg_hba.conf文件

2.StatementCancelHandler 收到SIGINT信号后调用此函数，终止正在进行的查询操作。

3.die 函数处理SIGTERM信号，用来终止当前的服务

4.quickdie 处理SIGQUIT信号，首先屏蔽其他信号，然后结束正在进行的工作并退出。

5.handle_sig_alarrm 该函数处理SIGALRM信号，由进程等待锁的时间超时引发的。如果存在死锁，就将自己从锁等待队列中退出，唤醒自己并在PROC结构中将错误类型置为STATUS_ERROR。

2.7.2初始化Postgres的运行环境

基本参数和信号量处理函数初始化完成后，将进行Postgres进程运行环境的初始化工作。Postgres进程首先会检查DataDir变量，确保给定的DataDir字符串是一个格式正确的数据目录路径。在多用户模式下，此工作由Postmaster进程完成。在有效数据目录路径下，检查PG_VERSION文件中的版本信息是否与当前版本的程序兼容。在版本兼容的前提下，将当前工作目录转到DataDir字符串表示的目录，以方便Postmaster进程及其后台进程使用相对路径访问数据目录。

2.7.3创建内存上下文并设置查询取消跳跃点

Postgres首先创建一个名为MessageContext的内存上下文，该内存上下文用于存储从前端发送过来的消息中的查询命令，以及在查询过程中产生的中间数据（如在简单查询模式时产生的分析树和计划树），每当PostgresMain进行下一次循环（即进行新的查询）时该内存上下文将被重设，即所有经过MessageContext分配的内存块将被释放。

创建完成后将调用sigsetjmp（系统调用函数）设置跳跃点，当客户端取消一次查询请求或发生错误时，将通过调用siglongjmp利用全局变量PG_exception_stack（该变量是指向跳跃点的指针）从这个点退出当前事务然后重新开始查询，在错误恢复期间不允许被中断，也不接受任何客户端取消查询的请求（正在取消）。

PostgreSQL使用的这种错误恢复的方式是C语言程序中进行错误处理的一种常见方式。

2.7.4循环等待查询处理

完成上述工作后，Postgres可真正接受客户端查询并处理，系统开始运行。

1.共享缓冲区PqSendBuffer： 8192字节的输出缓冲区，用来接收服务器发送给客户端的消息。

全局变量PqSendPointer是一个字符指针，表示在PqSendBuffer缓冲区中在此地址之前的消息正在发送给客户端，以后新加入的消息放在PqSendPointer所指向的位置。

2.7.5简单查询的执行流程

DML命令，系统调用exec_simple_query函数来执行简单查询，流程如下 ​

1.编译器：主流程的第一个模块。扫描用户输入的字符串形式的命令，检查其合法性，并将其转换为Postgres定义的内部数据结构。Postgres为每一条SQL命令都定义了相应的C语言结构体，用来存储命令中的各种参数。编译器是利用著名的lex和yacc工具编写，其入口为pg_parse_query函数。代码位于src/backend/paser目录下的scan.l和gram.y

2.分析器： 接收编译器传递过来的各种命令数据结构（语法树）,对它们进行相应的处理，最终转换为统一的数据结构Query。如果是查询命令，在生成Query后进行规则重写（rewrite）。重写部分的入口是QueryRewrite函数，代码位于/src/backend/rewrite目录下。分析器的入口是parse_analyze函数，其代码位于/src/backend/paser目录下。

3.优化器： 接收分析器输出的Query结构体，进行优化处理 后，输出执行器可以执行的计划（Plan）。一个特定的SQL查询可以以多种不同的方式执行，优化器将检查每个可能的查询计划，最终选择运行最快的查询计划。优化器的入口是pg_plan_quey函数，代码位于/src/backend/optimizer目录下

4.执行器： 执行非查询命令的入口函数是ProcessUtility，代码位于/src/backend/tcop/utility.c 该函数的主题结构式一个switch语句，根据输入的命令类型调用相应的执行函数。执行查询命令的入口函数式ProcessQuery，代码主要位于/src/backend/executor目录下。

Posgres进程在系统中扮演者一个工作执行者的角色，在单用户或多用户模式下，客户端请求通过认证后将直接与服务进程Postgres进程通信，而无须守护进程干预，只在客户端对应的后台进程出问题时由守护进程执行容错恢复工作。Postgres和用户进行交互，执行客户端提交的查询请求和命令，并将执行结果通过网络饭就给用户。Postgres后台进程的运行即实现了PostgreSQL的多任务并发执行。