大数据平台下保障性能?

数据量大,数据类型繁杂的情况下,如何做性能保障?
在数据处理层是关注处理能力,还是要做业层的性能与传统性能一样关注响应的时间吗?

参与6

2同行回答

rein07rein07系统架构师某证券
如何保障大数据平台的处理性能,关键还是看应用场景和业务需求,不是每种业务都需要高性能。1、在类OLTP场景下,大数据平台有像HBase一样的组件,保证数据读写具有极高的性能和吞吐量。2、在OLAP场景下,大数据平台有像Impala、Kudu、Kylin、Druid这样引擎,通过内存或预计算的方式...显示全部

如何保障大数据平台的处理性能,关键还是看应用场景和业务需求,不是每种业务都需要高性能。
1、在类OLTP场景下,大数据平台有像HBase一样的组件,保证数据读写具有极高的性能和吞吐量。
2、在OLAP场景下,大数据平台有像Impala、Kudu、Kylin、Druid这样引擎,通过内存或预计算的方式保证查询性能。
3、在离线分析场景,有像Hive、Spark、Mapreduce这样的引擎,分布式处理海量数据,在这种场景下,性能和响应时间已无法做到保证。

收起
证券 · 2018-12-27
浏览1461
sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)
1、大数据的底层全部都是分布式架构,分布式架构具有很强的横向扩展能力,而且是使用廉价的PC服务器即可组件分布式架构,只有增加服务器数据,性能也可以横向扩展,2、另外大数据平台在数据处理方面也均是采用分布式处理技术(例如 MR、 Hive、 Hbase 、 HDFS)3、另外还有一些是基于...显示全部

1、大数据的底层全部都是分布式架构,分布式架构具有很强的横向扩展能力,而且是使用廉价的PC服务器即可组件分布式架构,只有增加服务器数据,性能也可以横向扩展,
2、另外大数据平台在数据处理方面也均是采用分布式处理技术(例如 MR、 Hive、 Hbase 、 HDFS)
3、另外还有一些是基于内存的数据计算和处理架构Spark技术,
大数据平台下对性能的要求没有和传统的交互式的响应不太一样,大数据分为实时和离线计算,实时计算要求响应时间,离线计算对于响应时间没有太高的要求

收起
互联网服务 · 2018-12-27
浏览1485

提问者

guansnow
系统分析师科大讯飞
擅长领域: 中间件服务器前置系统

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-26
  • 关注会员:3 人
  • 问题浏览:2496
  • 最近回答:2018-12-27
  • X社区推广