开发优质高效的INFORMIX数据库应用程序（四）
四、 查询语句（SELECT）的优化
程序设计中的一个著名定律是20％的代码用去了80％的时间，在数据库应用程序中也同样如此。数据库应用程序的优化通常可分为两个方面：源代码的优化和SQL语句的优化。源代码的优化在时间成本和风险上代价很高；另一方面，源代码的优化对数据库系统性能的提升收效有限。
许多程序员认为查询优化是DBMS（数据库管理系统）的任务，与程序员所编写的SQL语句关系不大，这是错误的。一个好的查询计划往往可以使程序性能提高数十倍。查询计划是用户所提交的SQL语句的集合，查询规划是经过优化处理之后所产生的语句集合。DBMS处理查询计划的过程是这样的：在做完查询语句的词法、语法检查之后，将语句提交给DBMS的查询优化器，优化器做完代数优化和存取路径的优化之后，由预编译模块对语句进行处理并生成查询规划，然后在合适的时间提交给系统处理执行，最后将执行结果返回给用户。虽然现在的数据库产品在查询优化方面已经做得越来越好，但由用户提交的SQL语句是系统优化的基础，很难设想一个原本糟糕的查询计划经过系统的优化之后会变得高效，因此用户所写语句的优劣至关重要。
1、对查询语句进行优化的理由
下列几方面的原因是我们进行SQL语句优化的理由：
◆ SQL语句是对数据库(数据)进行操作的惟一途径；
◆ SQL语句消耗了70%~90%的数据库资源；
◆ SQL语句独立于程序设计逻辑，相对于对程序源代码的优化，对SQL语句的优化在时间成本和风险上的代价都很低；
◆ SQL语句可以有不同的写法；
◆ SQL语句易学，难精通。
从大多数数据库应用系统的实例来看，查询操作在各种数据库操作中所占据的比重最大，而查询操作所基于的SELECT语句在SQL语句中又是代价最大的语句。
2、查询语句（SELECT）的优化建议
（1）、合理使用索引：where子句中变量顺序应与索引字键顺序相同。
如：create index test_idx on test(bdh, rq, xz)
索引字键顺序：首先是保单号bdh，其次是日期rq，最后是险种xz，所以where子句变量顺序应是where bdh<=“P1234”and rq=“06/06/1999”and xz=“DAA”,不应是where xz=“DAA” and rq=“06/06/1999” and bdh <=“P1234”这样的不按索引字键顺序写法。
（2）、将最具有限制性的条件放在前面，大值在前，小值在后。
如：where colA<=10000 AND colA>;=1 效率高
where colA>;=1 AND colA<=10000 效率低
（3）、避免采用MATCHES和LIKE通配符匹配查询
通配符匹配查询特别耗费时间。即使在条件字段上建立了索引，在这种情况下也还是采用顺序扫描的方式。
例如语句：SELECT ＊ FROM customer WHERE zipcode MATCHES “524*”
可以考虑将它改为SELECT ＊ FROM customer WHERE ZipCode<=“524999” AND ZipCode >;=“524000”，则在执行查询时就会利用索引来查询，显然会大大提高速度。
（4）、避免非开始的子串
例如语句：SELECT ＊ FROM customer WHERE zipcode[2，3] >;“24”，在where子句中采用了非开始子串，因而这个语句也不会使用索引。
（5）、避免相关子查询
一个字段的标签同时在主查询和where子句中的查询中出现，那么很可能当主查询中的字段值改变之后，子查询必须重新查询一次。查询嵌套层次越多，效率越低，因此应当尽量避免子查询。如果子查询不可避免，那么要在子查询中过滤掉尽可能多的行。
例如：将下面的语句
select bdh,bf from TabA
where item IN (select item form TabB where TabB.num=50)
改为：select bdh,bf from TabA, TabB
where TabA.item=TabB.item AND TabB.num=50
（6）、避免或简化排序
应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时，优化器就避免了排序的步骤。以下是一些影响因素：
◆ 索引中不包括一个或几个待排序的字段；
◆ group by或order by子句中字段的次序与索引的次序不一样；
◆ 排序的字段来自不同的表。
为了避免不必要的排序，就要正确地增建索引，合理地合并数据库表（尽管有时可能影响表的规范化，但相对于效率的提高是值得的）。如果排序不可避免，那么应当试图简化它，如缩小排序的字段的范围等。
（7）、消除对大型表行数据的顺序存取
在嵌套查询中，对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略，一个嵌套3层的查询，如果每层都查询1000行，那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的字段进行索引。例如，两个表：学生表（学号、姓名、年龄……）和选课表（学号、课程号、成绩）。如果两个表要做连接，就要在“学号”这个连接字段上建立索引。
还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引，但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序操作：
SELECT ＊ FROM orders WHERE (cust_num=126 AND order_num>;1001) OR order_num=1008
虽然在cust_num和order_num上建有索引，但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合，所以应该改为如下语句：
SELECT ＊ FROM orders WHERE cust_num=126 AND order_num>;1001
UNION
SELECT ＊ FROM orders WHERE order_num=1008
这样就能利用索引路径处理查询。
（8）、对于大数据量的求和应避免使用单一的sum命令处理，可采用group by方式与其结合，有时其效率可提高几倍甚至百倍。
（9）、避免会引起磁盘读写的rowid操作。在where子句中或select语句中，用rowid要产生磁盘读写，是一个物理过程，会影响性能。
（10）、使用临时表加速查询
把表的一个子集进行排序并创建临时表，有时能加速查询。它有助于避免多重排序操作，而且在其他方面还能简化优化器的工作。
但要注意：临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下，注意不要丢失数据。
五、 其他措施
如何优化一套数据库应用程序，除了以上所述的措施外，还有一些分析并提高效率的措施在实际工作中亦应注意使用。
（1）、利用set explain on语句来分析数据库查找策略。
当发现某一部分INFORMIX语句运行特别慢又找不到原因时，可在程序中的查询语句之前加入“set explain on”语句，当程序运行时，在程序运行的当前目录下产生一个“sqexplain.out”文件，记录了INFORMIX数据库服务器采用何种优化策略来查找数据库。在该文件中可以发现查找中有无使用索引条件，估计的查找代价等信息。
（2）、数据库在做dbimport后应运行update statistics语句。
当数据库系统用dbimport实用程序完成数据库装载后，应运行update statistics数据库语句保证系统表中统计信息准确，否则将影响数据库优化器的策略和系统运行性能。
例如：select ＊ from test where bdh matches “PC2002＊”
test表在bdh字段上建立了索引，但在数据库运行update statistics前，数据库优化查找策略是按顺序查找而不是按索引查找，严重影响了查找速度。
（3）、经常插入和删除的大表应定期运行update statistics high语句。
对经常插入和删除的大表应定期运行update statistics语句保证系统表中统计信息准确，保证数据库优化器作出正确的优化策略提高系统运行性能。
（4）、对大文件采用load命令装载入库前可先去掉原有的日志方式和去掉索引，等load装载完成后再重建索引和日志，能大幅提高装载效率，避免出错产生。
◆ 去掉原有的日志方式：ontape －S －N dbname
◆ 删除索引：delete index indexname
◆ 用load 装入数据：load from filename insert into tabname
◆ 重建索引：create index to indexname on tabname(colA,colB,……)
◆ 重建日志：ontape －C －B dbname
（5）、针对ESQL/C编程，还应注意程序中的进程的使用
◆INFORMIX数据库中一个事务处理不要跨多个进程。例如：
begin work;
……
if(fork()==0){ /*子进程处理*/
……
conmit work; /*(或rollback work;)*/
……
}
这种方式，将引起数据库运行效率很低或处理异常。
◆在应用上引入多进程并发处理，充分利用系统资源，能大大提高处理效率。
程序设计中的一个著名定律是20％的代码用去了80％的时间，在数据库应用程序中也同样如此。数据库应用程序的优化通常可分为两个方面：源代码的优化和SQL语句的优化。源代码的优化在时间成本和风险上代价很高；另一方面，源代码的优化对数据库系统性能的提升收效有限。
许多程序员认为查询优化是DBMS（数据库管理系统）的任务，与程序员所编写的SQL语句关系不大，这是错误的。一个好的查询计划往往可以使程序性能提高数十倍。查询计划是用户所提交的SQL语句的集合，查询规划是经过优化处理之后所产生的语句集合。DBMS处理查询计划的过程是这样的：在做完查询语句的词法、语法检查之后，将语句提交给DBMS的查询优化器，优化器做完代数优化和存取路径的优化之后，由预编译模块对语句进行处理并生成查询规划，然后在合适的时间提交给系统处理执行，最后将执行结果返回给用户。虽然现在的数据库产品在查询优化方面已经做得越来越好，但由用户提交的SQL语句是系统优化的基础，很难设想一个原本糟糕的查询计划经过系统的优化之后会变得高效，因此用户所写语句的优劣至关重要。
1、对查询语句进行优化的理由
下列几方面的原因是我们进行SQL语句优化的理由：
◆ SQL语句是对数据库(数据)进行操作的惟一途径；
◆ SQL语句消耗了70%~90%的数据库资源；
◆ SQL语句独立于程序设计逻辑，相对于对程序源代码的优化，对SQL语句的优化在时间成本和风险上的代价都很低；
◆ SQL语句可以有不同的写法；
◆ SQL语句易学，难精通。
从大多数数据库应用系统的实例来看，查询操作在各种数据库操作中所占据的比重最大，而查询操作所基于的SELECT语句在SQL语句中又是代价最大的语句。
2、查询语句（SELECT）的优化建议
（1）、合理使用索引：where子句中变量顺序应与索引字键顺序相同。
如：create index test_idx on test(bdh, rq, xz)
索引字键顺序：首先是保单号bdh，其次是日期rq，最后是险种xz，所以where子句变量顺序应是where bdh<=“P1234”and rq=“06/06/1999”and xz=“DAA”,不应是where xz=“DAA” and rq=“06/06/1999” and bdh <=“P1234”这样的不按索引字键顺序写法。
（2）、将最具有限制性的条件放在前面，大值在前，小值在后。
如：where colA<=10000 AND colA>;=1 效率高
where colA>;=1 AND colA<=10000 效率低
（3）、避免采用MATCHES和LIKE通配符匹配查询
通配符匹配查询特别耗费时间。即使在条件字段上建立了索引，在这种情况下也还是采用顺序扫描的方式。
例如语句：SELECT ＊ FROM customer WHERE zipcode MATCHES “524*”
可以考虑将它改为SELECT ＊ FROM customer WHERE ZipCode<=“524999” AND ZipCode >;=“524000”，则在执行查询时就会利用索引来查询，显然会大大提高速度。
（4）、避免非开始的子串
例如语句：SELECT ＊ FROM customer WHERE zipcode[2，3] >;“24”，在where子句中采用了非开始子串，因而这个语句也不会使用索引。
（5）、避免相关子查询
一个字段的标签同时在主查询和where子句中的查询中出现，那么很可能当主查询中的字段值改变之后，子查询必须重新查询一次。查询嵌套层次越多，效率越低，因此应当尽量避免子查询。如果子查询不可避免，那么要在子查询中过滤掉尽可能多的行。
例如：将下面的语句
select bdh,bf from TabA
where item IN (select item form TabB where TabB.num=50)
改为：select bdh,bf from TabA, TabB
where TabA.item=TabB.item AND TabB.num=50
（6）、避免或简化排序
应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时，优化器就避免了排序的步骤。以下是一些影响因素：
◆ 索引中不包括一个或几个待排序的字段；
◆ group by或order by子句中字段的次序与索引的次序不一样；
◆ 排序的字段来自不同的表。
为了避免不必要的排序，就要正确地增建索引，合理地合并数据库表（尽管有时可能影响表的规范化，但相对于效率的提高是值得的）。如果排序不可避免，那么应当试图简化它，如缩小排序的字段的范围等。
（7）、消除对大型表行数据的顺序存取
在嵌套查询中，对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略，一个嵌套3层的查询，如果每层都查询1000行，那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的字段进行索引。例如，两个表：学生表（学号、姓名、年龄……）和选课表（学号、课程号、成绩）。如果两个表要做连接，就要在“学号”这个连接字段上建立索引。
还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引，但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序操作：
SELECT ＊ FROM orders WHERE (cust_num=126 AND order_num>;1001) OR order_num=1008
虽然在cust_num和order_num上建有索引，但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合，所以应该改为如下语句：
SELECT ＊ FROM orders WHERE cust_num=126 AND order_num>;1001
UNION
SELECT ＊ FROM orders WHERE order_num=1008
这样就能利用索引路径处理查询。
（8）、对于大数据量的求和应避免使用单一的sum命令处理，可采用group by方式与其结合，有时其效率可提高几倍甚至百倍。
（9）、避免会引起磁盘读写的rowid操作。在where子句中或select语句中，用rowid要产生磁盘读写，是一个物理过程，会影响性能。
（10）、使用临时表加速查询
把表的一个子集进行排序并创建临时表，有时能加速查询。它有助于避免多重排序操作，而且在其他方面还能简化优化器的工作。
但要注意：临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下，注意不要丢失数据。
五、 其他措施
如何优化一套数据库应用程序，除了以上所述的措施外，还有一些分析并提高效率的措施在实际工作中亦应注意使用。
（1）、利用set explain on语句来分析数据库查找策略。
当发现某一部分INFORMIX语句运行特别慢又找不到原因时，可在程序中的查询语句之前加入“set explain on”语句，当程序运行时，在程序运行的当前目录下产生一个“sqexplain.out”文件，记录了INFORMIX数据库服务器采用何种优化策略来查找数据库。在该文件中可以发现查找中有无使用索引条件，估计的查找代价等信息。
（2）、数据库在做dbimport后应运行update statistics语句。
当数据库系统用dbimport实用程序完成数据库装载后，应运行update statistics数据库语句保证系统表中统计信息准确，否则将影响数据库优化器的策略和系统运行性能。
例如：select ＊ from test where bdh matches “PC2002＊”
test表在bdh字段上建立了索引，但在数据库运行update statistics前，数据库优化查找策略是按顺序查找而不是按索引查找，严重影响了查找速度。
（3）、经常插入和删除的大表应定期运行update statistics high语句。
对经常插入和删除的大表应定期运行update statistics语句保证系统表中统计信息准确，保证数据库优化器作出正确的优化策略提高系统运行性能。
（4）、对大文件采用load命令装载入库前可先去掉原有的日志方式和去掉索引，等load装载完成后再重建索引和日志，能大幅提高装载效率，避免出错产生。
◆ 去掉原有的日志方式：ontape －S －N dbname
◆ 删除索引：delete index indexname
◆ 用load 装入数据：load from filename insert into tabname
◆ 重建索引：create index to indexname on tabname(colA,colB,……)
◆ 重建日志：ontape －C －B dbname
（5）、针对ESQL/C编程，还应注意程序中的进程的使用
◆INFORMIX数据库中一个事务处理不要跨多个进程。例如：
begin work;
……
if(fork()==0){ /*子进程处理*/
……
conmit work; /*(或rollback work;)*/
……
}
这种方式，将引起数据库运行效率很低或处理异常。
◆在应用上引入多进程并发处理，充分利用系统资源，能大大提高处理效率。
著作权归作者所有
如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！
赞0Ctrl+Enter 发表
作者其他文章
评论 2 · 赞 5
评论 6 · 赞 5
评论 3 · 赞 3
评论 0 · 赞 0
评论 0 · 赞 0
添加新评论0 条评论