数据量增长较快,IO带宽要求高,IO数据块较大产生的问题?

背景及现状:(业务建设情况,包以及企业使用服务器、存储、数据库等情况)目前大数据平台为Hadoop + HBASE,以服务器方式提供给业务系统使用;数据存放在普通x86服务器上,磁盘为SATA盘;系统支持集群横向扩展,计划扩展到上千台x86服务器规模;核心应用系统:广告投放系统、报表系统、数据仓...显示全部

背景及现状:(业务建设情况,包以及企业使用服务器、存储、数据库等情况)

目前大数据平台为Hadoop + HBASE,以服务器方式提供给业务系统使用;

数据存放在普通x86服务器上,磁盘为SATA盘;

系统支持集群横向扩展,计划扩展到上千台x86服务器规模;

核心应用系统:

广告投放系统、报表系统、数据仓库、数据集市、批量离线计算等

负载特点:

数据量增长较快,IO带宽要求高,IO数据块较大。CPU和IO要求都较高。

一般在夜间或凌晨时段计算量较大。

数据特点:非结构化数据较多。

问题及需求:

1、计算能力和存储能力不匹配,同一种机型的横向扩展,导致数据容量需求、IO需求、CPU需求难以同时匹配,会存在资源浪费;

2、机器数量巨大,整体TCO较低;

收起
参与6

查看其它 1 个回答chen78822的回答

chen78822chen78822软件开发工程师同方公司

1、计算能力和存储能力不匹配,同一种机型的横向扩展,导致数据容量需求、IO需求、CPU需求难以同时匹配,会存在资源浪费;

这种情况可以考虑采用软件定义存储如(IBM SDS)根据需求动态调整系统存储资源,避免存储资源浪费和不均衡,主机层面使用虚拟化软件来集中管理资源的分配和利用.如(vmware vSphere等)

2、机器数量巨大,整体TCO较低;

机器数量巨大的根本原因是资源利用不均衡,横向扩大服务器数量不能够解决存储和计算资源的差异,所以通过虚拟化技术来实现资源的重新分配和合理利用也许能够解决你的问题.

互联网服务 · 2016-03-16
浏览2206

回答者

chen78822
软件开发工程师同方公司
擅长领域: 存储服务器系统管理

chen78822 最近回答过的问题

回答状态

  • 发布时间:2016-03-16
  • 关注会员:4 人
  • 回答浏览:2206
  • X社区推广