互联网服务 分布式存储Ceph

ceph 分布式存储硬件规划,运维的考虑?

对于一个考虑搭建ceph集群的企业,很多时候大多只是有个概念,那么我们具体到具体的硬件投入,规划,拓扑方面,又有哪些参考的意见?
1.机型的选择,2U还是4U 
2.CPU的选择,10core以上还是一下,主频2.2还是多少
3.内存的选择,64G还是128或者256
4.硬盘10k,15k,是sas还是sata,还是ssd,容量2T还是8T,还是混合解决方案
5.网络万兆交换机还是infiband等
6.节点的投入和位置的摆放
7.副本的选择和硬件是否配合raid及热备的配置
等等以上问题,看似很泛泛,其实最终围绕着一个主题,在行业经验基础之上,争取做到,少投入,多产出,重稳定,易维护。性价比高,哪些同学再实际使用过程当中有具体的经验欢迎分享。

参与13

2 同行回答

zhuqibs zhuqibs 软件开发工程师 Adidas
机型: 2U还是4U并不重要,主要是磁盘容器和接口是不是够;A、cpu:(1)mds服务器应该有足够的处理能力(如 4 核或更强悍的 CPU),所以,竟可能的多一点。(2)OSD 运行着 RADOS 服务、用 CRUSH 计算数据存放位置、复制数据、维护它自己的集群运行图副本,因此 OSD 需要一定的处理能力。B、内存...显示全部

机型: 2U还是4U并不重要,主要是磁盘容器和接口是不是够;

A、cpu:

(1)mds服务器应该有足够的处理能力(如 4 核或更强悍的 CPU),所以,竟可能的多一点。
(2)OSD 运行着 RADOS 服务、用 CRUSH 计算数据存放位置、复制数据、维护它自己的集群运行图副本,因此 OSD 需要一定的处理能力。

B、内存:越大越好

(1) mds、monitor服务器必须可以尽快地提供它们的数据,所以他们应该有足够的内存,至少每进程 1GB;
(2)OSD 的日常运行不需要那么多内存(如每进程 500MB )差不多了;然而在恢复期间它们占用内存比较大(如每进程每 TB 数据需要约 1GB 内存)。通常内存越多越好;

C、硬盘:最好ssd,不看大小,看性能

(1)HDD:  分别在单独的硬盘运行操作系统、 OSD 数据和 OSD 日志,全部分开;
(2)SSD:   读密集的应用选用廉价的ssd,写密集的需要选用贵的ssd;顺序读写能力很重要,需要做为重要采购指标,因为OSD的日志都是顺序写的;SSD使用分区需要分区对齐;

D、网络交换机:带宽越大越好,当然是infinband,但也要有钱啊

(1)每台服务器2张网卡,最好万兆;
(2)核心交换机:40Gps~100Gps

节点:6台mds,6台monitor,7台osd

副本:  不要太多,2~3个可以了 

 

收起
互联网服务 · 2020-04-10
浏览3372
花花世界 花花世界 系统架构师 小太阳
1、根据 Ceph 应用场景配置选用不同处理器,比方说全闪存场景(所有数据盘都 使用 SSD 的场景)就需要更高性能的处理器2、内存:官方文档建议每个 OSD 进程配置 2GB 内存 网卡:根据实际需要选择即可,建议每台服务器配置 2 个 10GE 以上的网口,本文使 用的是 25GE 网卡3、HDD :...显示全部

1、根据 Ceph 应用场景配置选用不同处理器,比方说全闪存场景(所有数据盘都 使用 SSD 的场景)就需要更高性能的处理器

2、内存:官方文档建议每个 OSD 进程配置 2GB 内存 网卡:根据实际需要选择即可,建议每台服务器配置 2 个 10GE 以上的网口,本文使 用的是 25GE 网卡

3、HDD :本文使用 HDD 作为数据盘,SSD 作为 db/wal 分区起加速作用,如果服务器 配置有 RAID 卡,建议将数据盘设置为直通模式(JBOD)

4、SSD :本文使用 HDD 作为数据盘,SSD 作为db/wal 分区起加速作用,建议选用 NVMe SSD 加速效果更佳

收起
互联网服务 · 2020-04-03
浏览3686

提问者

powertiandi
系统架构师 李宁(中国)体育用品有限公司
擅长领域: 存储服务器灾备
评论1612

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-04-03
  • 关注会员:4 人
  • 问题浏览:4743
  • 最近回答:2020-04-10
  • X社区推广