影响分布式文件系统(如HDFS、GPFS)性能的因素有哪些?

分布式文件系统在存储海量非结构化数据时,其处理性能和应用程序有着密切的关联性,我们在建设和维护期间,需要着重关注哪几个影响性能的因素呢?简单列举几项如下:1、元数据管理:重点关注元数据服务器的复制结构和查询策略、元数据服务器的硬件配置(CPU/内存/缓存大小)、元数据服务...显示全部

分布式文件系统在存储海量非结构化数据时,其处理性能和应用程序有着密切的关联性,我们在建设和维护期间,需要着重关注哪几个影响性能的因素呢?
简单列举几项如下:
1、元数据管理:重点关注元数据服务器的复制结构和查询策略、元数据服务器的硬件配置(CPU/内存/缓存大小)、元数据服务器处理线程数量等
2、存储节点性能:重点关注存储节点底层磁盘I/O、系统读写cache大小等。
3、存储网络性能:关注分布式文件系统中存储网络对数据传输速率的影响。
4、客户端支持:不同的分布式文件系统对客户端的支持是有差别的,要关注文件系统I/O吞吐是否能够对客户端增加有较好的可扩展性。

收起
参与5

查看其它 1 个回答Jhon的回答

JhonJhon技术经理小学生

从数据分布的情况去分析
1.热点数据分布不均衡
2.各个磁盘的实际使用量差距
3.缓存这块的需求
4.基于分布式文件系统的考虑 不管是nas还是san 网络文件流的考虑很重要
5.各个数据节点之间是否考虑做冗余,负载均衡,大并发处理等

IT咨询服务 · 2017-06-29
浏览2470

回答者

Jhon
技术经理小学生
擅长领域: 存储灾备服务器

Jhon 最近回答过的问题

回答状态

  • 发布时间:2017-06-29
  • 关注会员:3 人
  • 回答浏览:2470
  • X社区推广