非结构化数据是怎么处理的,报表大数据是否做容灾?

参与17

4同行回答

朱向东朱向东课题专家组高级工程师某银行
非结构化数据一般是指文本文件、图像文件、音频文件、视频文件、报表文件等格式的文件,多数情况下非结构化数据具有一次写入多次读取的特点 ,当然也不是绝对的,主要取决于应用系统的架构设计思路。就应用系统非结构化数据的产生与存放以及容灾阶段,一般有三种规划设计思路:第...显示全部

非结构化数据一般是指文本文件、图像文件、音频文件、视频文件、报表文件等格式的文件,多数情况下非结构化数据具有一次写入多次读取的特点 ,当然也不是绝对的,主要取决于应用系统的架构设计思路。就应用系统非结构化数据的产生与存放以及容灾阶段,一般有三种规划设计思路:
第一种是采用本地盘方式,应用系统生成非结构化数据文件直接存放在本地盘中,这种方式受限于本地盘的容量,还受限于应用系统的节点规模,不太容易实现多应用节点非结构化数据文件的共享,这种方式的非结构化数据文件的容灾只能采用定时将数据文件打包备份远程传输方式或rsync方式实现,这也是最原始的一种做法。
第二种是采用NAS存储方式,应用系统生成非结构化数据文件直接存放在基于NFS协议的NAS共享卷中,这种方式与第一种方式相比应用系统代码无需修改就可以直接使用,还不受应用系统的节点规模限制,直接实现多应用节点非结构化数据文件的共享,基于NAS共享方式应用节点与NAS存储之间需要建立网络的长链接关系,当网络出现异常中断可能会导致应用节点hang住,这种方式的非结构化数据文件的容灾可以采用NAS设备底层的数据远程同步技术,直接实现非结构化数据的容灾,且当遇到本地NAS存储出现故障时,可以通过NAS存储切换和应用节点umount/mount操作挂载到远端NAS存储卷中实现业务快速恢复,不过当NAS存储挂载卷太多或应用节点数量太多时,这种应急处置可能会消耗较多的时间,可以借助一些预置的自动化调度脚本来实现快速的切换。
第三种是采用对象存储方式, 应用系统生成非结构化数据文件后直接调用S3接口协议上传到对象存储制定的桶中,当需要读取文件时需要调用S3接口协议从对象存储中将文件下载到本地, 这种方式应用系统代码需要做较多的适配性改造,应用程序改造工作量较大,但这种方式最大的特点是应用系统和存储之间没有长链接的交互关系,只有当出现调用S3接口时才与对象存储建立网络连接,完美规避因网络出现故障导致应用节点hang住的情况,而且对象存储可以对非结构化数据设置生命周期管理策略等特定的功能,相比NAS存储方式有这天然的优势。在采用对象存储方式的同时可以在远端搭建对应的对象存储集群实现本地对象存储向远端对象存储数据同步的策略,可以实现非结构化数据的容灾和对象存储的快速容灾切换。
相比较来说,对象存储更适合非结构化数据文件的存储与容灾,而且对象存储采用分布式架构,几乎可以忽略容量限制,可以满足较大数据量的存放需求,而且部分厂商的对象存储还支持HDFS接口协议,可以与大数据集群进行对接整合,从而实现数据湖功能,实现热温冷数据的分层管理,既提高了数据的访问速度,同时也降低了IT投入成本。

收起
银行 · 2022-12-28
浏览987
zftangzftang其它小白一枚
一般多副本解决,做容灾的比较少显示全部

一般多副本解决,做容灾的比较少

收起
互联网服务 · 2022-12-05
浏览935
峨眉山修行者峨眉山修行者QA工程师北京
非结构化数据 一般是指文本文件、图像文件、音频文件、视频文件、报表文件等格式的文件 ,并且一般是存储在本地磁盘,或是nas存储中,做备份或是容灾,也就是对主机或者nas设备进行保护。数据备份:通过提供原始数据在多个时间点的不同版本,来保障原始数据在大时间尺度上的可回溯性...显示全部

非结构化数据 一般是指文本文件、图像文件、音频文件、视频文件、报表文件等格式的文件 ,并且一般是存储在本地磁盘,或是nas存储中,做备份或是容灾,也就是对主机或者nas设备进行保护。

数据备份:通过提供原始数据在多个时间点的不同版本,来保障原始数据在大时间尺度上的可回溯性。备份数据最好能够保存在原始数据不同的物理设备上,以保障备份数据安全。

数据容灾:在原始数据不可访问的情况下,无需从数据备份中恢复数据,即可为系统提供原始数据的一个或多个时间点的、可读取、可写入、可修改、可删除的数据副本,来保障业务的可用性。

对于报表大数据是否做容灾,根据实际情况和需求而定。一些关键业务系统可能会对容灾要求较高,因此会进行容灾备份,以确保业务的高可用性和不间断运行。而非关键业务系统则可能不会对容灾要求那么高,因此可能不会进行容灾备份。

收起
软件开发 · 2023-09-08
浏览402
十方空烬十方空烬存储解决方案架构师同有科技
非结构化数据指的是没有固定模式或结构的数据。它可能包括文本、图像、音频、视频等多种格式。对于非结构化数据的处理,可以使用一些工具或软件来解析和提取信息。例如,可以使用自然语言处理技术来解析文本数据,或者使用图像处理技术来解析图像数据。在报表生成的过程中,大数...显示全部

非结构化数据指的是没有固定模式或结构的数据。它可能包括文本、图像、音频、视频等多种格式。

对于非结构化数据的处理,可以使用一些工具或软件来解析和提取信息。例如,可以使用自然语言处理技术来解析文本数据,或者使用图像处理技术来解析图像数据。

在报表生成的过程中,大数据也可以通过一些工具或软件来处理。这些工具通常具有快速处理和分析大量数据的能力,例如数据仓库和商业智能工具。

在处理大数据时,容灾也是一个重要考虑因素。容灾指的是系统在出现故障或灾难时能够继续运行的能力。为了实现容灾,可以使用备份和恢复技术来保证数据的安全,并使用冗余设计来确保系统的可用性。

收起
软件开发 · 2022-12-21
浏览894

提问者

大白菜丶008
系统架构师亚太财产保险有限公司
擅长领域: 监控系统运维自动化运维

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-12-05
  • 关注会员:5 人
  • 问题浏览:1741
  • 最近回答:2023-09-08
  • X社区推广