华为存储CLUB
作者华为存储CLUB·2021-12-15 12:00
CLUB专员·华为存储用户俱乐部

如何按照不同类型业务负载进行文件存储资源池的建设?——12月华为存储MVP赋能活动顺利举行

字数 3965阅读 3510评论 0赞 3

对于部分金融机构来讲,由于历史原因和早期业务场景限制,大多数存储协议都较为单一,主要以集中式SAN存储为主。而随着业务发展,非结构化数据不断产生并积聚。为解决不同类型数据合理存放问题,企业开始优化存储架构。FC SAN集中式存储以高吞吐、低延迟特性完美满足数据库类应用场景;NAS文件存储凭借组网简单,即插即用特性,可满足文件共享需求;对象存储则多用于处理基于互联网应用的海量非结构化数据。

12月4日,基于twt社区的华为存储用户俱乐部组织主题为 “如何按照不同类型业务负载进行文件存储资源池的建设?”的华为存储MVP赋能活动,邀请2020华为存储MVP、2021华为存储MVP候选人共同探讨企业各类存储资源池优化建设过程中的文件类存储资源池架构优化等问题。希望在交流中能够促进存储运维管理人员思想碰撞,积累并分享运维经验。

社区根据用户专家、MVP、潜在MVP的反馈,甄选了在该主题方向下的核心议题:

议题一:在非结构化数据场景下如何选择存储类型,重点关注哪些存储能力?企业是采用SAN和NAS一体化的融合存储架构?还是采用SAN和NAS物理独立,分开建设的方案?

议题二:构建同城NAS双活时,业务网是否要打通大二层?如果企业不具备同城大二层打通的条件,该如何规划同城NAS的网络方案?

本次活动邀请某省农信资深技术经理雷智担任本次赋能活动的主持人,某农商银行存储工程师刘振国担任用户分享专家,华为集中式存储组合产品管理专家武装担任本次活动的分享嘉宾,某省农信存储负责人杨宗旺担任活动的互动嘉宾。几位专家共同针对本次活动的主题分享技术干货,在互动交流环节中与华为存储用户俱乐部MVP与潜在MVP对企业NAS的应用过程中的痛难点问题共同交流探讨,最终形成共识落地于实践。

此次活动共有37位华为存储用户俱乐部MVP与潜在MVP参与,均为金融行业存储相关技术岗位用户,其中银行行业用户33位,占比为89.19%,其余用户来自于保险、证券行业。

活动开场,活动主持人雷智老师高屋建瓴地从数据的宏观态势与发展趋势出发,点明了此次活动主题的深刻含义与来源:

党的十九届四中全会首次将数据纳入生产要素范畴,数字化大潮已经势不可挡,数据的多样化、海量化趋势、价值性和安全性要求更为凸显,存储作为数据的重要载体,对于金融业和技术从业者来说势必将迎来一系列新的的挑战,如何将海量数据分类存储管理?如何管理非结构数据?如何针对海量非结构数据进行容灾备份?SAN和NAS存储的使用场景有何区别?针对NAS存储,如何开展产品选型,需要关注哪些产品能力?如何规划架构体系?建设步骤?管理规范?这一系列的问题,都需要我们在犹如混沌的未来数据存储管理之中不断探索践行。期待嘉宾的实践分享和专家们的思想碰撞。

在用户专家分享环节,刘振国首先以自身银行的整体存储体系和存储架构规划作为引言,分析了引入NAS的必要性与需求点。之后以详细的项目建设方案和进行的POC测试验证了华为高端NAS双活产品对本行的业务需求的满足,从技术创新与管理创新两个方面说明了本次项目的创新所在。最终以详细的技术方案与最终的呈现效果为在场的同行提供了华为高端NAS存储双活系统的有益实践经验。

▲用户专家分享内容截图

华为专家分享环节,武装首先以企业NAS存储的发展与走向,详细介绍了NAS存储的整体发展历程,使参会用户对于NAS存储与技术发展有了深刻理解。之后又以金融行业企业NAS 的应用场景,水平覆盖三种系统,横向对比国内外需求,三条主线驱动存储产业走向,深入刻画了NAS的不同应用场景。最后以华为OceanStor Dorado 企业级NAS的自我定位,从架构和特性两大方面说明了如何实现高性能、可扩展、全均衡、高可靠的文件系统以及如何实现一个高效、全面、可靠的企业NAS。

▲华为专家分享内容截图

互动交流环节中,参会用户通过文字或语音的方式积极提出了自己在企业NAS的应用建设过程中的痛难点问题,与会的专家老师也都相应给出了设身处地的技术解答。精彩问答节选如下——

某城商行用户提问:

有个具体的点,有空请教下振国老师,如果挂载策略设置为hard,在网络断开和NAS down掉的情况下,应用系统在访问出现hang住的时候如何处理?

用户分享专家 刘振国 回复:

hard方式确实也有弊端,两害相权取其轻,参数的选择一定要适合或者适应自己公司的网络特性,因地制宜,不断调优,这是最重要的。soft的话,要配合timeout和retrans两个参数,前者默认600即1分钟,retrans重新尝试次数,如果网络抖动,那么在使用soft的时候呢,有可能造成NFS连接还没有恢复。如果网络条件稳定,采用hard更好,可以提高NFS可用性。遇到长时间中断客户端hang死的情况,第一可以尝试在线的恢复方法,停掉NFS和rpcbind进程,umount -l或umount -f NAS文件系统,然后依次启动rpcbind和NFS服务。

某证券企业用户提问:

在业务端删除数据时,有时候想知道谁删除的,比如哪个地址哪个用户,来追踪责任,有没有好的办法,避免背黑锅,NAS审计日志是否真正可以开,对性能影响多大?

关于审计日志的功能,现在使用华为OceanStor V5,遇到性能不能开问题,想解决具体谁访问的,谁删除的,读写冲突报错等,请问同行遇到这话问题如何解决?请问华为OceanStor Dorado V6能不能开这个功能,效果如何?

用户分享专家 刘振国 回复:

针对这个问题,我觉得可以从管理及技术两个维度来着手,以尽量避免问题产生,降低损失。管理方面,通过加强员工对特权账户(比如root)的使用审查力度,采取双人复核及双人授权等等管理手段。技术方面,通过堡垒机对运维操作进行录屏,对特权用户进行最小授权,比如跨系统的NAS用户只读不写权限,同时可采取存储快照技术,避免误删除后还能够恢复文件,对重要文件进行备份。

主持人 雷智 回复:

加强技术手段及制度强化,通过“技防和管理制度的人防”来尽量避免数据文件误删除,同时加强与业务人员之间的沟通宣传,尽量从前端避免数据文件被误删除。

华为专家 武装 回复:

客观讲,存储运维是最底层,比较难。SAN是端到端检测能力,从服务器-网络-存储,每一个抖动都讲清楚,是DME的能力。NAS最大的事后反馈就是日志审计,日志对华为OceanStor Dorado V6性能影响不大,NAS最大优势是租户,做隔离权限管理,设置地域等,不扩散。华为OceanStor Dorado V6这一代做文件系统的时候,大量的数据优化,不像以前跨文件系统独立的去处理日志审计,而是本地即可处理,影响很小。

华为专家 刘遵一 回复:

如果日志审计只开删除,对性能影响较小,通过日志审计能够查询到哪个地址哪个用户删除了文件。

读写问题,分析难度比较大,可以借助专用的审计软件,通过全栈日志,做数据分析,找出更深层次的原因。

如果使用的是SMB协议,存储有MMC功能,对应CIA能力,可以查询文件是被哪一个用户用哪个IP地址锁定,并可以强制关闭文件,可以使用MMC功能来查询和管理。

某证券企业用户提问:

就议题一我提个问题:请专家老师就NFS和CITS/SMB协议下的高可用性方面经验做一些分享,能否就成熟的NFSV3(无状态协议) IP failover方案和不成熟的CIFS/SMBV3(有状态协议)IP failover方案说说各自的使用经验?

华为专家 武装 回复:

1、NFS和SMB在重试机制上确实有差异;

2、NFS主要是相信主机的能力,需要存储侧notify 主机,然后NFS客户端会发起连接重建;

3、SMB是友商WR的,企业级套路比较清晰,更详细服务器侧的能力,如果在存储侧存了相关的连接信息,文件句柄等,直接重试过程中就可以重建连接,不需要再通知客户端发起重试;

4、SMB更相信文件服务器侧的可靠性,一般要求服务器侧保存SMB相关的访问信息,便于重建连接。

本次活动中,两位分享专家从NAS存储的选型、规划和管理等方面的探索实践进行了精彩的专业分享,同时与会用户们围绕两个议题进行了有意义的建设性探讨,针对如何按照不同类型业务负载进行文件存储资源池的建设?形成了诸多重要的共识,雷智老师在现场将这些共识进行归纳总结,主要内容如下,希望能为同行带来进一步的思考与启发:

  • 历史沿革上

NAS存储的发展方向和本质是始终围绕“更低代价实现系统数据的安全及共享”。

随着数据类型的不断丰富、数据量级的飞速增长、数据结构的日趋复杂。NAS存储在企业中的应用场景更为广泛。例如数据交换平台、渠道应用共享、影像数据存储、容器云环境等场景。

  • 选型方法上

重点关注产品性能、高可用容灾能力、便捷管理能力、售后服务能力和性价比等方面。

  • 架构规划上

从实际需求出发,考虑数据类别、应用等级和使用场景等维度来进行NAS架构规划。在规划方案中,需要注意“成熟产品方案、本地个性完善、统筹容灾建设、网络分区隔离”等方面

  • 管理规范上

科技项目建设,管理规范制度先行。在分类使用、用户管理、实施标准等制度规范上,与项目建设同步甚至先行制定,持续完善,多措并举,确保用户极致体验和技术方案延续性。

会议接近尾声,大家的热情却始终积极昂扬,活动主持人雷智老师再次引古博今,以诗与在场同行共勉:

*“混沌初开天地分,烽烟四海至今回;大浪淘沙金方现,留者无愧自英雄。

愿我们存储专家们拥有:

盘古之勇,勇于力破混沌,主动探索更为科学合理的数据存储方案,夯实数据管理之基。

伏羲之智,智于高屋建瓴,建立规则、制定标准,推动规范共享,丰富数据要素之源。

女娲之仁,仁于求同存异,积极形成共识,善意引导,释放数据价值。

数字化转型浪潮下,期待各位在数据存储管理之路上再创辉煌。”*

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

活动总结
活动总结是社区交流活动内容的总结及延伸,为大家提供了社区专家们丰富且高水平的理论知识、实践经验以及常见问题的最佳解决方法,非常值得大家收藏学习。

作者其他文章

相关文章

相关问题

相关资料

X社区推广