查看其它 3 个回答朱向东的回答

朱向东朱向东课题专家组高级工程师某银行

非结构化数据一般是指文本文件、图像文件、音频文件、视频文件、报表文件等格式的文件,多数情况下非结构化数据具有一次写入多次读取的特点 ,当然也不是绝对的,主要取决于应用系统的架构设计思路。就应用系统非结构化数据的产生与存放以及容灾阶段,一般有三种规划设计思路:
第一种是采用本地盘方式,应用系统生成非结构化数据文件直接存放在本地盘中,这种方式受限于本地盘的容量,还受限于应用系统的节点规模,不太容易实现多应用节点非结构化数据文件的共享,这种方式的非结构化数据文件的容灾只能采用定时将数据文件打包备份远程传输方式或rsync方式实现,这也是最原始的一种做法。
第二种是采用NAS存储方式,应用系统生成非结构化数据文件直接存放在基于NFS协议的NAS共享卷中,这种方式与第一种方式相比应用系统代码无需修改就可以直接使用,还不受应用系统的节点规模限制,直接实现多应用节点非结构化数据文件的共享,基于NAS共享方式应用节点与NAS存储之间需要建立网络的长链接关系,当网络出现异常中断可能会导致应用节点hang住,这种方式的非结构化数据文件的容灾可以采用NAS设备底层的数据远程同步技术,直接实现非结构化数据的容灾,且当遇到本地NAS存储出现故障时,可以通过NAS存储切换和应用节点umount/mount操作挂载到远端NAS存储卷中实现业务快速恢复,不过当NAS存储挂载卷太多或应用节点数量太多时,这种应急处置可能会消耗较多的时间,可以借助一些预置的自动化调度脚本来实现快速的切换。
第三种是采用对象存储方式, 应用系统生成非结构化数据文件后直接调用S3接口协议上传到对象存储制定的桶中,当需要读取文件时需要调用S3接口协议从对象存储中将文件下载到本地, 这种方式应用系统代码需要做较多的适配性改造,应用程序改造工作量较大,但这种方式最大的特点是应用系统和存储之间没有长链接的交互关系,只有当出现调用S3接口时才与对象存储建立网络连接,完美规避因网络出现故障导致应用节点hang住的情况,而且对象存储可以对非结构化数据设置生命周期管理策略等特定的功能,相比NAS存储方式有这天然的优势。在采用对象存储方式的同时可以在远端搭建对应的对象存储集群实现本地对象存储向远端对象存储数据同步的策略,可以实现非结构化数据的容灾和对象存储的快速容灾切换。
相比较来说,对象存储更适合非结构化数据文件的存储与容灾,而且对象存储采用分布式架构,几乎可以忽略容量限制,可以满足较大数据量的存放需求,而且部分厂商的对象存储还支持HDFS接口协议,可以与大数据集群进行对接整合,从而实现数据湖功能,实现热温冷数据的分层管理,既提高了数据的访问速度,同时也降低了IT投入成本。

银行 · 2022-12-28
浏览1011

回答者

朱向东
高级工程师某银行
擅长领域: 服务器存储数据库

朱向东 最近回答过的问题

回答状态

  • 发布时间:2022-12-28
  • 关注会员:5 人
  • 回答浏览:1011
  • X社区推广