影响分布式文件系统(如HDFS、GPFS)性能的因素有哪些?

分布式文件系统在存储海量非结构化数据时,其处理性能和应用程序有着密切的关联性,我们在建设和维护期间,需要着重关注哪几个影响性能的因素呢?
简单列举几项如下:
1、元数据管理:重点关注元数据服务器的复制结构和查询策略、元数据服务器的硬件配置(CPU/内存/缓存大小)、元数据服务器处理线程数量等
2、存储节点性能:重点关注存储节点底层磁盘I/O、系统读写cache大小等。
3、存储网络性能:关注分布式文件系统中存储网络对数据传输速率的影响。
4、客户端支持:不同的分布式文件系统对客户端的支持是有差别的,要关注文件系统I/O吞吐是否能够对客户端增加有较好的可扩展性。

参与5

2同行回答

haichuan0227haichuan0227项目经理新浪云计算
再补充几点:replication数;block size;服务线程数;视具体情况,选用合适的调度算法;尽量减少磁盘操作;尽可能降低网络传输数据量;显示全部

再补充几点:
replication数;
block size;
服务线程数;
视具体情况,选用合适的调度算法;
尽量减少磁盘操作;
尽可能降低网络传输数据量;

收起
互联网服务 · 2017-06-30
浏览2214
JhonJhon技术经理小学生
从数据分布的情况去分析1.热点数据分布不均衡2.各个磁盘的实际使用量差距3.缓存这块的需求4.基于分布式文件系统的考虑 不管是nas还是san 网络文件流的考虑很重要5.各个数据节点之间是否考虑做冗余,负载均衡,大并发处理等...显示全部

从数据分布的情况去分析
1.热点数据分布不均衡
2.各个磁盘的实际使用量差距
3.缓存这块的需求
4.基于分布式文件系统的考虑 不管是nas还是san 网络文件流的考虑很重要
5.各个数据节点之间是否考虑做冗余,负载均衡,大并发处理等

收起
IT咨询服务 · 2017-06-29
浏览2440

提问者

qq373793057
系统工程师某银行
擅长领域: 存储灾备分布式系统

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-06-27
  • 关注会员:3 人
  • 问题浏览:5291
  • 最近回答:2017-06-30
  • X社区推广