​ 本文主要介绍PostgreSQL数据库（后文简称PG）进程结构和内存结构，物理结构将在后续继续整理分享。

​ 上图描述了PG进程结构、内存结构和部分物理结构的内容。图中的内容包含了两个部分：

  1. PG启动时分配
  2. 应用访问时分配

PG启动时进程结构和内存结构

​ PG是一用户一进程的Client/Server的应用程序。在PG启动时会启动若干个进程，其中包括主进程和辅助进程。在详细介绍之前，我们先来做一个测试，以下是操作记录：

[postgres@CHENZX-DB01 ~]$ ps -ef|grep postgres

root     15592 15571  0 14:23 pts/1    00:00:00 su - postgres

postgres 15593 15592  0 14:23 pts/1    00:00:00 -bash

postgres 15684 15593  0 14:24 pts/1    00:00:00 ps -ef

postgres 15685 15593  0 14:24 pts/1    00:00:00 grep --color=auto postgres

[postgres@CHENZX-DB01 ~]$ pgtl start

server starting

[postgres@CHENZX-DB01 ~]$

[postgres@CHENZX-DB01 ~]$

[postgres@CHENZX-DB01 ~]$ ps -ef|grep postgres

root     15592 15571  0 14:23 pts/1    00:00:00 su - postgres

postgres 15593 15592  0 14:23 pts/1    00:00:00 -bash

postgres 15712     1  0 14:25 pts/1    00:00:00 /postgres/postgresql-9.6.11/bin/postgres -D /postgres/pgdata

postgres 15713 15712  0 14:25 ?        00:00:00 postgres: logger process

postgres 15715 15712  0 14:25 ?        00:00:00 postgres: checkpointer process

postgres 15716 15712  0 14:25 ?        00:00:00 postgres: writer process

postgres 15717 15712  0 14:25 ?        00:00:00 postgres: wal writer process

postgres 15718 15712  0 14:25 ?        00:00:00 postgres: autovacuum launcher process

postgres 15719 15712  0 14:25 ?        00:00:00 postgres: stats collector process

postgres 15736 15593  0 14:25 pts/1    00:00:00 ps -ef

postgres 15737 15593  0 14:25 pts/1    00:00:00 grep --color=auto postgres

[postgres@CHENZX-DB01 ~]$ kill -9 15712

[postgres@CHENZX-DB01 ~]$ ps -ef|grep postgres

root     15592 15571  0 14:23 pts/1    00:00:00 su - postgres

postgres 15593 15592  0 14:23 pts/1    00:00:00 -bash

postgres 16164 15593  0 14:32 pts/1    00:00:00 ps -ef

postgres 16165 15593  0 14:32 pts/1    00:00:00 grep --color=auto postgres

​ PG启动前后OS层面上一共多了7个进程，而进程15713、15715、15716、15717、15718和15719均是被进程15712拉起的。当进程15712被杀掉后，剩余6个进程均会停止。所以，进程15712是PG的主进程，它在这里的作用是数据库的启动和停止、管理与数据库运行相关的辅助进程。

​ 这里有6个进程，究竟这6个进程是干啥用的呢？以下是具体介绍：

进程名 作用
系统日志进程SysLogger 通过从Postmaster进程、所有的服务进程及其他辅助进程收集所有的stderr输出，并将这些输出写入到日志文件中
后台写进程BgWriter 将共享内存中的内容基于算法周期性的写入磁盘 如果太快：一个数据块可能会被修改很多次，太快的情况下，每修改一次都要写入磁盘中，是一个相当浪费资源和性能的过程 如果太慢：如果有新的查询或者更新等操作需要用内存保存从磁盘中读取数据，而此时内存却没有足够的空间，就需要把“脏数据”刷入磁盘来释放一部分内存。那么此时的查询或者更新操作就会发生“等待”，性能体验降低
归档进程PgArch postgreSQL从8.x版本开始提出了PITR（Point-In-Time-Recovery）技术，支持将数据库恢复到其运行历史中任意一个有记录的时间点。除2.5.3节中所述的WalWriter外，PITR的另一个重要的基础就是对WAL文件的归档功能。PgArch辅助进程的目标就是对WAL日志在磁盘上的存储形式（Xlog文件）进行归档备份。
预写式日志写进程WalWriter 写WAL日志的进程。预写式日志的概念就是在修改数据之前，必须要把这些修改操作记录到磁盘中，这样后面更新实际数据时，就不需要实时地把数据持久化到文件中了。即使机器突然宕机或数据库异常退出，导致一部分内存中的脏数据没有及时地刷新到文件中，在数据库重启后，通过读取WAL日志，并把最后一部分的WAL日志重新执行一遍，就可以恢复到宕机时的状态。
自动清理进程AutoVacuum 在PostgreSQL数据库中，对表元组的UPDATE或DELETE操作并未立即删除旧版本的数据，表中的旧元组只是被标识为删除状态，并未立即释放空间。这种处理对于获取多版本并发控制是必要的，如果一个元组的版本仍有可能被其他事务看到，那么就不能删除元组的该版本。当事务提交后，过期元组版本将对事务不再有效，因而其占据的空间必须回收以供其他新元组使用，以避免对磁盘空间增长的无休止的需求，此时对数据库的清理工作通过运行VACUUM来实现。从PostgreSQL 8.1开始，PostgreSQL数据库引入一个额外的可选辅助进程AutoVacuum（系统自动清理进程），自动执行VACUUM和ANALYZE命令，回收被标识为删除状态记录的空间，更新表的统计信息。
统计数据收集进程PgStat 做数据的统计收集工作

​ 我们再启动PG，看看内存方面的内容：

[postgres@CHENZX-DB01 ~]$ pgtl start

server starting

[postgres@CHENZX-DB01 ~]$ ps -ef|grep postgres

root     15592 15571  0 14:23 pts/1    00:00:00 su - postgres

postgres 15593 15592  0 14:23 pts/1    00:00:00 -bash

postgres 16403     1  0 14:36 pts/1    00:00:00 /postgres/postgresql-9.6.11/bin/postgres -D /postgres/pgdata

postgres 16404 16403  0 14:36 ?        00:00:00 postgres: logger process

postgres 16406 16403  0 14:36 ?        00:00:00 postgres: checkpointer process

postgres 16407 16403  0 14:36 ?        00:00:00 postgres: writer process

postgres 16408 16403  0 14:36 ?        00:00:00 postgres: wal writer process

postgres 16409 16403  0 14:36 ?        00:00:00 postgres: autovacuum launcher process

postgres 16410 16403  0 14:36 ?        00:00:00 postgres: stats collector process

postgres 19276 15593  0 15:24 pts/1    00:00:00 ps -ef

postgres 19277 15593  0 15:24 pts/1    00:00:00 grep --color=auto postgres

[postgres@CHENZX-DB01 ~]$ ps aux --sort -rss|grep 16403

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND

postgres 16403  0.0  2.1 319992 41268 pts/1    S    14:36   0:00 /postgres/postgresql-9.6.11/bin/postgres -D /postgres/pgdata

postgres 19299  0.0  0.0 112704   968 pts/1    S+   15:24   0:00 grep --color=auto 16403

​ PG启动后，主进程会占用一部分的内存，这部分内存会共享给所有后端进程共同使用。这部分称之为共享内存，共享内存由三部分组成，分别是：

  • Shared Buffer Pool：PG将表和索引中的页面从持久存储装载到这里，并直接操作它们
  • WAL Buffer：WAL文件持久化之前的缓冲区
  • CommitLog Buffer：PostgresSQL在CommitLog中保存事务的状态，并将这些状态保留在Shared Buffer Pool中，在整个事务过程中使用

应用访问时的进程结构和内存结构

​ 我们在找一台安装了PG客户端的机器，进行远程登录的操作：

[postgres@CHENZX-DB02 bin]$ psql -h 192.168.1.61 -p 5432

psql (9.6.11)

Type "help" for help.

postgres=#

​ 我们在PG服务器端查看一下进程：

[postgres@CHENZX-DB01 ~]$ ps -ef|grep postgres

root     15592 15571  0 14:23 pts/1    00:00:00 su - postgres

postgres 15593 15592  0 14:23 pts/1    00:00:00 -bash

postgres 16403     1  0 14:36 pts/1    00:00:00 /postgres/postgresql-9.6.11/bin/postgres -D /postgres/pgdata

postgres 16404 16403  0 14:36 ?        00:00:00 postgres: logger process

postgres 16406 16403  0 14:36 ?        00:00:00 postgres: checkpointer process

postgres 16407 16403  0 14:36 ?        00:00:00 postgres: writer process

postgres 16408 16403  0 14:36 ?        00:00:00 postgres: wal writer process

postgres 16409 16403  0 14:36 ?        00:00:00 postgres: autovacuum launcher process

postgres 16410 16403  0 14:36 ?        00:00:00 postgres: stats collector process

postgres 23120 16403  0 16:23 ?        00:00:00 postgres: postgres postgres 192.168.1.62(36106) idle        ------>多了此进程

postgres 23136 15593  0 16:24 pts/1    00:00:00 ps -ef

postgres 23137 15593  0 16:24 pts/1    00:00:00 grep --color=auto postgres

​ 除了数据库启动时那7个进程之外，多了一个由主进程fork出来的进程23120。我们再做一个测试，远程登录一个数据库中没有的用户。

[postgres@CHENZX-DB02 bin]$ psql -U chenzx -h 192.168.1.61 -p 5432

psql: FATAL:  role "chenzx" does not exist

​ 那服务器端的进程有无多呢？正常无连上数据库应该是无多的。

[postgres@CHENZX-DB01 ~]$ ps -ef|grep postgres

root     15592 15571  0 14:23 pts/1    00:00:00 su - postgres

postgres 15593 15592  0 14:23 pts/1    00:00:00 -bash

postgres 16403     1  0 14:36 pts/1    00:00:00 /postgres/postgresql-9.6.11/bin/postgres -D /postgres/pgdata

postgres 16404 16403  0 14:36 ?        00:00:00 postgres: logger process

postgres 16406 16403  0 14:36 ?        00:00:00 postgres: checkpointer process

postgres 16407 16403  0 14:36 ?        00:00:00 postgres: writer process

postgres 16408 16403  0 14:36 ?        00:00:00 postgres: wal writer process

postgres 16409 16403  0 14:36 ?        00:00:00 postgres: autovacuum launcher process

postgres 16410 16403  0 14:36 ?        00:00:00 postgres: stats collector process

postgres 28197 15593  0 17:45 pts/1    00:00:00 ps -ef

postgres 28198 15593  0 17:45 pts/1    00:00:00 grep --color=auto postgres

​ 可以看到，服务器进程并没有比之前多，仍然是7个进程。可以看到，主进程在这里的作用是监听客户端连接、为每个客户端连接fork单独的postgres服务进程。

​ 创建一个会话连接到PG，再查看这个进程使用内存的状况：

[postgres@CHENZX-DB01 ~]$ ps aux --sort -rss|grep 28572

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND

postgres 28572  0.0  0.1 321604  2948 ?        Ss   17:51   0:00 postgres: postgres postgres 192.168.1.62(36134) idle

​ 可以看到在会话连接到数据库时，postgres进程会为每个进程查询等操作划分一部分内存，这部分内存我们称之为本地内存。本地内存由三部分组成：

  • Temp_buffers：临时表相关操作会使用这部分内存
  • work_mem：内部排序（order by,distinct）操作和Hash表在使用临时磁盘文件之前使用的内存缓冲区
  • maintenance_work_mem：维护性操作中使用的内存缓冲区，如vacuum、create index和alter table add foreign key等

​ 讨论了两个情景，基本把PG的进程结构和内存结构梳理了一遍。最后，结合上述的情景，对PG主进程的作用进行整理：

  • 数据库启停
  • 监听客户端连接
  • 为每个客户端连接fork单独的postgres进程
  • 当服务进程出错时进行修复
  • 管理数据文件
  • 管理与数据库运行相关的辅助进程

最新文章

  1. 微软“One Windows”的梦想已经破灭了吗？
  2. Knockoutjs实例 - 属性绑定(Bindings)之流程控制(Control flow)
  3. 不同浏览器对document.documentElement和document.body的scrollheight ,scrollTop,clientHeight以及判断滚动条是否滚动到页面最底部 【转载】
  4. Asp.Net微信登录-手机网站APP应用
  5. Flash 无法输入中文的修正方法
  6. infinitescroll 通过无限制分页(json方式完整代码)
  7. pod lib lint 遇到的问题
  8. 201521123025《java程序设计》第10周学习总结
  9. git忽略文件并删除git仓库中的文件
  10. 开始使用PHPUnit单元测试
  11. 2018-2019-2 网络对抗技术 20165323 Exp1 PC平台逆向破解
  12. Dynamics CRM Web API中的and和or组合的正确方式!
  13. logging_modules
  14. tensorboard 可视化网络运行过程
  15. AssetBundle打包-----BuildPipeline的应用
  16. mysql 开发基础系列11 存储引擎memory和merge介绍
  17. pyinstaller将python编写的打卡程序打包成exe
  18. Golang的文件处理方式-常见的读写姿势
  19. 使用curator 来管理elasticsearch的index
  20. 18-11-2 Scrum Meeting 5

热门文章

  1. Jms学习篇二：ActiveMQ
  2. JS基础学习——闭包
  3. 微信小程序的button去边框
  4. HTML <frameset> 标签
  5. Java入门到精通——调错篇之Spring2.5利用aspect实现AOP时报错: error at ::0 can't find referenced pointcut XXX
  6. Linux漏洞分析入门笔记-Off-By-One(栈)
  7. 【Mood 21】要不要重复造轮子
  8. python 函数，内置函数
  9. Appium Android 元素定位方法 原生+H5
  10. ios端微信浏览器禁止上下滑动