关于批处理的问题,急急急!!!

上周做了一个新的代理,用于每周的经营分析,跑五份报表,然后用邮件发给对应的200+人,相当于一共要做近1000份的报表然后发送,结果发现批处理这边处理特别差,刚开始都跑不出来。最初设定是10进程,结果发现数据库IO堵塞严重,后来数据库那边加索引,各种调,Cognos这边改成4进程,跑成功了,但是看了一下成功率,成功率低的要死,求大神们帮忙,服务器在批处理这里怎么调能优化的好一些求教~下面上配置图,服务器的权重设定为1221,主CM在第一个节点上~穷。。8个币求救命。。

2.png

参与10

7同行回答

ybnewlifeybnewlife其它SHANGHAIBIFU
回复 7# wengr    大神我还有一个问题请教:假设现在Cognos向SQL server发送了7个请求A-G,但是SQL server那边有很多进程正在处理,所以这7个请求里面有3个请求C,F,G堵塞了十分钟,那么Cognos一直等待回应的过程中,是否会因为等待时间过长而判定C,F,G失败呢?如果不会,那...显示全部
回复 7# wengr


   大神我还有一个问题请教:假设现在Cognos向SQL server发送了7个请求A-G,但是SQL server那边有很多进程正在处理,所以这7个请求里面有3个请求C,F,G堵塞了十分钟,那么Cognos一直等待回应的过程中,是否会因为等待时间过长而判定C,F,G失败呢?如果不会,那么Cognos会一直等待吗,还是怎么处理?如果会,那么这个等待时间是否可控呢,Cognos会重新发送C,F,G请求吗?望大神指导!收起
软件开发 · 2015-05-05
浏览1446
wengrwengr数据库架构师bmsoft
回复 6# ybnewlife 1、 报表服务的最长执行时间(秒数)=0 ,默认值为零,即对于执行时间没有限制。就是不需要调整该设置。2、是否要调整亲和力参数,要看有没有报表服务器提示过类似的错误。没有就不要随意修改。亲和力是什么?亲和力连接:亲和力连接用来请求,它是报表服务进程(BIBusT...显示全部
回复 6# ybnewlife


1、 报表服务的最长执行时间(秒数)=0 ,默认值为零,即对于执行时间没有限制。就是不需要调整该设置。
2、是否要调整亲和力参数,要看有没有报表服务器提示过类似的错误。没有就不要随意修改。

亲和力是什么?
亲和力连接:亲和力连接用来请求,它是报表服务进程(BIBusTKServerMain)一部分(可以理解为线程)。亲和力根据一个请求是否分配给特定的服务还是分布式环境中可以分配给另外一个服务。亲和力在请求和服务之间,它负责确保请求会被传递到合适的服务器上去执行。亲和力请求类型分为三种:绝对亲和力、高亲和力、低亲和力。
绝对亲和力请求:每个报表进程中除了高亲和力请求和低亲和力请求,还有绝对亲和力请求。绝对亲和力请求只能在特定的报表服务上执行,不管是否有负载均衡。取消报表操作是最好的例子,只有在运行报表的服务上才能取消它。绝对亲和力请求就像他的名字-绝对存在(By its very nature, absolute affinity requests are just that – absolute),因此针对此类请求的参数没有包含在ReportNet参数中以免冗余。绝对亲和力请求负责为客户端和服务器创建关联,以确保长时间运行的报表不会超时。绝对亲和力请求在下面的操作中会用到:等待、获取输出、释放。例子:当用户取消一个正在运行的报表时,绝对亲和力连接负责将取消请求传递给运行报表所在进程。
低亲和力请求:低亲和力请求在任意报表进程中都能以同样的效率完全执行。低亲和力请求是独立的,在系统处理过程中与其他请求没有任何关联。低亲和力请求包括PDF、HTML报表的第一页。报表:报表查询、报表处理;报表认证:元数据检索、查询验证;管理:测试数据源、添加对象(文件夹、job、计划任务等等)、请求门户页面;


简单的说,亲和力就是访问报表时,IE访问服务器是否session连接成功,参数正常接收,结果正常返回。收起
IT咨询服务 · 2015-05-05
浏览1560
ybnewlifeybnewlife其它SHANGHAIBIFU
回复 5# wengr    报表服务执行时间的话我是设定了300S,因为报表服务具体执行时间可以看到,但是批处理没敢做,因为有些邮件接收人的文档数据量太大,时间不可控。   大神我有几个问题想咨询一下:①这里的批处理的高低亲和力可以修改么?我想将低亲和提高一倍...显示全部
回复 5# wengr


   报表服务执行时间的话我是设定了300S,因为报表服务具体执行时间可以看到,但是批处理没敢做,因为有些邮件接收人的文档数据量太大,时间不可控。   大神我有几个问题想咨询一下:①这里的批处理的高低亲和力可以修改么?我想将低亲和提高一倍,这个是否有影响呢?
                                           ②我们的四台服务器都是8核16线程的,但是我之前将批处理的进程从4->8之后,发现因为有些SQL语句查询量太大导致IO堵塞严重,那么这个问题是不是就是数据库的IO瓶颈导致的呢?收起
软件开发 · 2015-05-05
浏览1488
wengrwengr数据库架构师bmsoft
1、 报表服务的最长执行时间设置,是根据报表本身执行时间来确定,如果报表正常执行时间都要几秒,就不能设置为0,毕竟是实时连接数据库查询。2、从并发上看,4个并发不算低,不是越大越好。每台服务器处理能力在4个并发,如果集群模式下,N*4就很多了,单服务上的CPU核心与进程数,可决定最...显示全部
1、 报表服务的最长执行时间设置,是根据报表本身执行时间来确定,如果报表正常执行时间都要几秒,就不能设置为0,毕竟是实时连接数据库查询。
2、从并发上看,4个并发不算低,不是越大越好。每台服务器处理能力在4个并发,如果集群模式下,N*4就很多了,单服务上的CPU核心与进程数,可决定最大并发量,按经验值批处理不要超过服务器最大并发的50%,目的是保证其他服务进程可用。收起
IT咨询服务 · 2015-05-05
浏览1526
ybnewlifeybnewlife其它SHANGHAIBIFU
回复 3# wengr    恩..我们确实是每个人的五份文档都不一样..是大神说的1000份独立邮件...那这个问题如果从Cognos批处理任务优化入手,有的解决办法么...哪怕稍微好一些也好,亲和力现在我没敢调,我想把进程数跟亲和力稍微调高,会不会有影响呢?...显示全部
回复 3# wengr


   恩..我们确实是每个人的五份文档都不一样..是大神说的1000份独立邮件...那这个问题如果从Cognos批处理任务优化入手,有的解决办法么...哪怕稍微好一些也好,亲和力现在我没敢调,我想把进程数跟亲和力稍微调高,会不会有影响呢?收起
软件开发 · 2015-05-05
浏览1478
ybnewlifeybnewlife其它SHANGHAIBIFU
。。好多查看。。救命。。显示全部
。。好多查看。。救命。。收起
软件开发 · 2015-05-05
浏览1474
wengrwengr数据库架构师bmsoft
处理200用户的邮件群发,而且是五个报表,如果200用户收到的五张报表是同样的,这种情况还好处理,类似五个邮件发出去,收件人是200个email,如果200人都数据要求都不一样,就变成了1000个独立邮件,每一个报表处理200个不同数据分组限制,批处理服务器设置并发数,不能保证每一个并发都成功...显示全部
处理200用户的邮件群发,而且是五个报表,如果200用户收到的五张报表是同样的,这种情况还好处理,类似五个邮件发出去,收件人是200个email,如果200人都数据要求都不一样,就变成了1000个独立邮件,每一个报表处理200个不同数据分组限制,批处理服务器设置并发数,不能保证每一个并发都成功的。
出错率极高,也不容易跟踪与处理。经常性提示处理失败,会有邮件附件过大,亲和力错误等等。

建议:类似这样的需求,最好不要用Cognos来做,可以想想其他办法。收起
IT咨询服务 · 2015-05-04
浏览1601

提问者

ybnewlife
其它SHANGHAIBIFU

相关问题

相关资料

问题状态

  • 发布时间:2015-05-04
  • 关注会员:3 人
  • 问题浏览:4494
  • 最近回答:2015-05-05
  • X社区推广