数据整合后的数据处理压力问题

将各个行业的数据进行整合后,如何保证数据处理的速度问题,我正在所掌握的数据 大约在1亿3千万,那么再加上其它的行业数据整合后,保守估计总数据量会超过10亿条记录,在这其中还需要对数据进行深度挖掘并提供相关的业务模型分析,数据展现.

参与4

1同行回答

panjianzhuangpanjianzhuang系统架构师IBM
海量的数据处理正是LinuxONE的强项。LinuxONE搭载业界最高性能的处理器芯片,其主频为5.0GHz、拥有4-级独立大缓存,可以实现最高效率的单核或单线程作业。同时,LinuxONE还有独立的I/O子系统,包括:20多个I/O处理器、300多个I/O通道处理芯片,可以使得LinuxONE在海量数据作业的性能...显示全部

海量的数据处理正是LinuxONE的强项。

LinuxONE搭载业界最高性能的处理器芯片,其主频为5.0GHz、拥有4-级独立大缓存,可以实现最高效率的单核或单线程作业。同时,LinuxONE还有独立的I/O子系统,包括:20多个I/O处理器、300多个I/O通道处理芯片,可以使得LinuxONE在海量数据作业的性能尤为突出。LinuxONE的垂直扩展能力(2到141个处理器)和灵活的扩展粒度(可逐核升级),使得服务器资源随着业务的扩展而从容、按需升级。

对于密集I/O的数据操作类型的业务和需要在特定时间窗口内完成批量作业的业务来说,LinuxONE主机具有天生的优势。LinuxONE主机系统的I/O带宽最大可达每秒832GB且拥有其他平台所不具备的异步I/O机制。当LinuxONE收到I/O操作的请求时,主处理器便把I/O处理的任务交予I/O子系统完成,不占用主处理器资源。这种体系结构的特点使主机在进行海量数据I/O处理操作的同时,处理器还有余力处理其它的事务;不需要等待I/O的结果便能继续运行下一条指令。批量作业处理是属于单线程长作业类型,其对CPU单核的主频要求较高。处理器主频高代表单颗处理器处理能力强,对于批量数据处理作业至关重要,可以缩短批处理时间窗口。LinuxONE主机单核单线程拥有最高的CPU主频,高主频有利于提升批量作业这种单线程业务的工作效率。LinuxONE主机的处理器有其独有的四级缓存技术,平均每核CPU拥有更大的缓存,大缓存(落实每核CPU)意味更多的数据被保存在处理器内部,可以直接被处理器访问到,减少数据路径长度、缩短数据处理的总体时间,有利于提升服务器的I/O处理能力。

收起
硬件生产 · 2017-03-01
浏览1293

提问者

lovenoerror2013
系统工程师某政府行业
擅长领域: 服务器信创操作系统信创

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-02-27
  • 关注会员:2 人
  • 问题浏览:3731
  • 最近回答:2017-03-01
  • X社区推广