PostgreSQL vacuum原理—vacuum揭秘

字数 2253阅读 2138评论 0赞 0

在前面两个章节中，我们讲了vacuum的一些重要参数“PostgreSQL vacuum原理一功能与参数”以及PG发起vacuum的流程“PostgreSQL vacuum原理—启动机制”。这个章节我们重要讲下vacuum 的实现，	主要分为vacuum full和lazy vacuum。	 	1.vacumm full 	    vacuum full会锁表和索引，而且是“AccessExclusiveLock”级别的。其实vacuum full会重建整个表，这个的功能实现在cluster.c文件中，因为其行业相当于是一个cluster重建的一个变种。	建临时表阶段：PG会新表一个以”pg_temp_%u”的临时表，临时表继承老表所有属性。”%u”是老表的OID。如果用户表有名字与这个临时表相同的，那么就会失败。另外临时表的OID是relfilenode。 这个阶段，会对pg_class申请“RowExclusiveLock”锁，因为需要插入条目；也会做表名检查，检查是否与现有表名冲突。 	copy数据阶段：然后将原来的数据copy到temp表中。对临时表，老表以及索引都以“AccessExclusiveLock”模式打开。另外对于toast，只是lock，不打开。在这个过程中完成Dead Tuple的清理。	swap表阶段：最后做一个swap table操作，新表将老表替换掉。交换只是将物理文件进行交换。reltablespace和relfilenode进行交换，会对pg_class再次申请“RowExclusiveLock”锁。	重建索引阶段：是在交换之后完成的，重建索引时，会更新一些统计信息。对表申请“ShareLock”锁。	删除临时表阶段：索引重建完成后，将带有老物理文件的新临时表进行删除。	 	<a class="example-image-link" href="http://blog.itpub.net/attachment/201504/26/30088583_14300530324ULd.png" height="691" width="462" data-lightbox="example-set"><img class="example-image" src="http://blog.itpub.net/attachment/201504/26/30088583_14300530324ULd.png" height="691" width="462" alt="image" ></a> 	 	2. lazy vacumm 	    PG在lazy vaccum之前，会先判断此次vacuum是full scan还是part scan。判断靠vacuum_freeze_table_age参数，它只与newest xid和relfrozenxid比较，	公式为：relfrozenxid < newestxid - vacuum_freeze_table_age 	演变后：vacuum_freeze_table_age < newestxid - relfrozenxid 	vacuum_freeze_table_age默认值为150million。因此如果一个表在pg_class中的relfrozenxid比newestxid小150million时，就会触发全表扫描，完成后更新pg_class中的relfrozenxid。	vacuum_freeze_table_age的最大值是0.95*autovacuum_freeze_max_age。 	新的冻结relfroenxid的计算需要靠以下公式的运算结果来判断：	oldestXmin – vacuum_freeze_min_age <(newestxid - autovacuum_freeze_max_age) 	上面公式演变后成： autovacuum_freeze_max_age - vacuum_freeze_min_age < newest xid – oldestXmin <table>	<tbody>		<tr>			<td>				relfrozenxin取值？ 			</td>			<td>				公式成立 			</td>			<td>				公式不成立 			</td>		</tr>		<tr>			<td>				full scan 			</td>			<td>				oldestXmin，说明oldestXmin过老			</td>			<td>				oldestXmin-vacuum_freeze_min_age，如果是负值，返回3			</td>		</tr>		<tr>			<td>				part scan 			</td>			<td>				0			</td>			<td>				0			</td>		</tr>	</tbody></table>	从上面可以知道，part scan是不会更新pg_class中的relfrozenxid值的，只有full scan会去更新。原因很简单，part scan实际上只是清理dead tuple,FSM(Free Space Map)和标记visibility map。 默认情况下，autovacuum_freeze_max_age 的值为200million，vacuum_freeze_min_age 为50million。那也就是说oldest xid与newest xid的差距不能大于150million。否则，PG就认为oldestXmin已经太老了，就会提示用户尽量关闭事务，以免发生xid循环使用的问题（wraparound transaction xid）。	对于一个系统，如果每秒事务量为1W tps，可以支持15000秒，也就是4个小时左右。vacuum_freeze_min_age 的最大值不能超过autovacuum_freeze_max_age/2，也就是100million。	 对于multixid的冻结，也是同样的计算方法，只不过autovacuum_multixact_freeze_max_age的值为400million，	PG用这个方法，完美解决了wraparound 问题。	 	<a class="example-image-link" href="http://blog.itpub.net/attachment/201504/26/30088583_1430052932Gj1R.png" height="726" width="667" data-lightbox="example-set"><img class="example-image" src="http://blog.itpub.net/attachment/201504/26/30088583_1430052932Gj1R.png" height="726" width="667" alt="image" ></a>

vacuum 数据库 MySQL

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

PostgreSQL vacuum原理—vacuum揭秘

添加新评论0 条评论

作者其他文章

相关文章

相关问题

相关资料