2PB录音录像数据长期保留20年方案?

金融行业由于监管要求,对录音录像数据要求长期保留20年,总量约2PB。想请教业界经济适用、后期管理维护少的备份及存储方案?

参与49

11同行回答

yaohongboyaohongbo  系统架构师 , 中信银行
1、你有没有专门的历史数据归档系统?有的话,复用这个归档系统。好处是有接口,有规范,可以按归档系统的设计存放,取用方便。一般来说都是磁盘介质,底层可能是对象存储或者hadoop。管理维护由归档系统统一完成。2、有没有集中备份系统?备份系统的几种介质都可以,比如磁带,磁盘,PBB专...显示全部

1、你有没有专门的历史数据归档系统?有的话,复用这个归档系统。好处是有接口,有规范,可以按归档系统的设计存放,取用方便。一般来说都是磁盘介质,底层可能是对象存储或者hadoop。管理维护由归档系统统一完成。
2、有没有集中备份系统?备份系统的几种介质都可以,比如磁带,磁盘,PBB专用备份设备。从前到后成本和可靠性依次增加,管理难度和数据迁移难度依次降低。
3、如果以上两种都没有,可以用对象存储,自己设计一下如何保存。
都是有学习成本的,要根据你的具体情况分析。技术的价值不是直接出一个通用的方案,而是针对不同的场景和需求,设计对应的最佳方案。

收起
银行 · 2023-06-08
浏览1017
zysolo_twtzysolo_twt  存储管理员 , 某股份制银行
保留2PB录音录像数据长达20年的方案,需要考虑以下2个因素:存储介质:选择可靠、安全、容量大的存储介质,例如硬盘阵列、磁带库等。同时,为了防止单点故障导致数据丢失,建议采用分布式存储结构来备份数据。成本分析:选取合适的存储介质和备份方案,需要考虑经济成本,实现在成本可控的...显示全部

保留2PB录音录像数据长达20年的方案,需要考虑以下2个因素:

  1. 存储介质:选择可靠、安全、容量大的存储介质,例如硬盘阵列、磁带库等。同时,为了防止单点故障导致数据丢失,建议采用分布式存储结构来备份数据。
  2. 成本分析:选取合适的存储介质和备份方案,需要考虑经济成本,实现在成本可控的前提下最优解。
  3. 数据加密与权限管理:对数据进行加密处理,加强访问权限管理和审计跟踪能力,防止非法访问或者数据泄露,并确保符合数据隐私保护要求。
  4. 数据迁移:长期保存的数据需要进行定期检测,并对即将过期的存储介质进行迁移和转储,以保证数据持久性和可访问性,并避免存储介质的损坏导致数据的丢失。
收起
银行 · 2023-06-08
浏览940
RuiRui  产品经理 , QMCO
首先从存储介质的选型角度来看,磁带技术最为成熟稳定,有着良好的技术发展路线,在温湿度适宜的情况下,其保存时间可达30年以上。从整体方案来看,建议采用昆腾公司的ActiveScale Cold Storage方案,其目的是帮助客户在本地打造一个类AWS S3 Glacier存储,充分利用S3,磁盘和磁带特...显示全部

首先从存储介质的选型角度来看,磁带技术最为成熟稳定,有着良好的技术发展路线,在温湿度适宜的情况下,其保存时间可达30年以上。

从整体方案来看,建议采用昆腾公司的ActiveScale Cold Storage方案,其目的是帮助客户在本地
打造一个类AWS S3 Glacier存储,充分利用S3,磁盘和磁带特性,加上特有的2维纠删技术,使得数据持久性最高可达19个9,该方案比纯磁盘方案节省超过70%的TCO。

其本身是一套对象存储,前端提供S3接口,存储介质是由磁盘和磁带组成,具备2个storage-classes,分别是standard和glacier;standard=磁盘层,glacier=磁带层,这样通过标准的S3API即可完成数据层的转换。

收起
硬件生产 · 2023-06-08
浏览959
AcdanteAcdante  技术总监 , SHFY
无论是存放在本地还是异地,都需要考虑长期保存下,存储介质(存储数据)的可用性。归档系统:磁盘+磁带形式比较靠谱。进线磁盘(可用分布式存储,对象存储),离线:磁带。无论哪种,都建议多分副本存放,定期恢复检查。...显示全部

无论是存放在本地还是异地,都需要考虑长期保存下,存储介质(存储数据)的可用性。
归档系统:磁盘+磁带形式比较靠谱。
进线磁盘(可用分布式存储,对象存储),离线:磁带。

无论哪种,都建议多分副本存放,定期恢复检查。

收起
系统集成 · 2023-10-16
Eric雪飞Eric雪飞  存储专委 副主任 , 上海市计算机学会
2PB不算多,但是20年还是很长的。如果原来有带库,就用磁带,三年检查一次。如如果没有带库,现买就太贵。可以考虑蓝光光盘库,相对便宜点,也考虑两三年抽查一下,必要时修复显示全部

2PB不算多,但是20年还是很长的。

如果原来有带库,就用磁带,三年检查一次。

如如果没有带库,现买就太贵。可以考虑蓝光光盘库,相对便宜点,也考虑两三年抽查一下,必要时修复

收起
IT其它 · 2023-09-19
浏览470
waring_idwaring_id  技术经理 , 某公司
考虑20年和数据量的要求,除了管理软件(归档软件或是备份软件)重点需要考虑保持的介质理想情况下保存时间长且经济的重点考虑磁盘和光盘从磁带机的发展情况看,磁带会面临每隔3代需要升级的情况(新的磁带机一般向下兼容2代的磁带格式),20年的时间太长了,不知能否找到能读当初备份数...显示全部

考虑20年和数据量的要求,除了管理软件(归档软件或是备份软件)重点需要考虑保持的介质
理想情况下保存时间长且经济的重点考虑磁盘和光盘
从磁带机的发展情况看,磁带会面临每隔3代需要升级的情况(新的磁带机一般向下兼容2代的磁带格式),20年的时间太长了,不知能否找到能读当初备份数据的磁带(类似于现在还有3.5寸的软盘,但是软驱已经基本看不到了)
综合考虑 光盘应该比磁带和磁盘靠谱

收起
零售/批发 · 2023-09-18
浏览493
匿名用户匿名用户
方案1无需业务改造可直接采用传统NAS接口落地但数据调用查询效率较慢,方案2和3要求业务必须支持S3接口才能落地但数据调用查询效率较快,方案3可应对监管规范的长期数据保存介质要求;方案一:都是历史数据,无热温数据调用的情况下,处于兼容角度考虑,建议全部采用分布式NAS存储+磁...显示全部

方案1无需业务改造可直接采用传统NAS接口落地但数据调用查询效率较慢,方案2和3要求业务必须支持S3接口才能落地但数据调用查询效率较快,方案3可应对监管规范的长期数据保存介质要求;
方案一:都是历史数据,无热温数据调用的情况下,处于兼容角度考虑,建议全部采用分布式NAS存储+磁盘介质方式, 少量SSD+HDD的高密4U设备作为存储节点,NAS存储配置EC纠删码取得高得盘率来持久化数据,应对录音录像提供标准NFS、CIFS、FTP协议接口;
方案二:都是历史冷数据,无热温数据调用的情况下,处于维护便捷角度考虑,建议全部采用对象存储+磁盘介质方式,少量SSD+HDD的高密4U设备作为存储节点,对象存储配置EC纠删码取得高得盘率来持久化数据, 应对录音录像提供标准S3协议接口;
方案三:有热温数据的临时调用,建议采用对象存储+蓝光光盘库/磁带库的方式,热温数据通过对象存储本地多副本策略的SSD+HDD进行持久化,提升热温数据访问效率,另外将历史冷数据通过对象存储流动引擎策略在线转存至次级存储(蓝光或磁带) , 应对录音录像提供标准S3协议接口;

收起
互联网服务 · 2023-07-04
浏览640
jimV5jimV5  存储工程师 , 金融保险
使用磁带归档系统最合适。stornext显示全部

使用磁带归档系统最合适。
stornext

收起
保险 · 2023-06-08
浏览973
wenwen123wenwen123  项目经理 , MM
对于金融行业需要长期保留大量录音录像数据的情况,以下是一些业界常用的备份和存储方案,旨在提供经济适用性和后期管理维护的优势:磁带存储(Tape Storage):磁带备份是一种经济实惠的长期数据存储解决方案。磁带具有较低的成本和高容量,适合长期存储大量数据。磁带还具备较好的可...显示全部

对于金融行业需要长期保留大量录音录像数据的情况,以下是一些业界常用的备份和存储方案,旨在提供经济适用性和后期管理维护的优势:

  1. 磁带存储(Tape Storage):磁带备份是一种经济实惠的长期数据存储解决方案。磁带具有较低的成本和高容量,适合长期存储大量数据。磁带还具备较好的可靠性和耐久性,且可以离线存储,以防止数据遭受网络攻击。然而,访问数据需要较长的检索时间,因为需要加载和定位磁带上的特定部分。
  2. 冷存储(Cold Storage):冷存储是一种低成本的云存储解决方案,适合长期保存不经常访问的数据。云提供商如Amazon Glacier和Google Cloud Storage Nearline提供了冷存储选项,其价格相对较低,但数据访问速度相对较慢。这种方案适用于不需要频繁访问的归档数据,并提供了数据冗余和可靠性。
  3. 分层存储(Tiered Storage):分层存储将数据根据访问频率和重要性划分为不同的层级,并将其存储在不同的介质上。例如,将经常访问的数据存储在高性能的固态硬盘(SSD)或硬盘阵列中,而不经常访问的数据存储在较便宜的磁盘或冷存储中。这种方法可以提供较高的性能和经济效益,并根据数据的需求进行灵活管理。
  4. 压缩和去重(Compression and Deduplication):使用数据压缩和去重技术可以降低存储需求。压缩可以减小数据的物理存储空间,而去重可以识别和消除重复的数据块。这些技术可以帮助减少存储成本,并提高数据传输和备份速度。
  5. 存储虚拟化(Storage Virtualization):存储虚拟化技术可以将多个存储设备抽象为一个统一的存储池,简化管理和扩展。通过存储虚拟化,可以更有效地利用存储资源,并提供灵活的数据迁移和备份功能。

需要注意的是,具体的备份和存储方案应根据您的具体需求和预算来确定。您可能需要与存储供应商或专业的IT咨询公司合作,根据您的存储容量、性能要求、数据安全性和成本预算等因素,进行定制化的方案设计和实施。

收起
互联网服务 · 2023-07-05
浏览660
lzgzg166lzgzg166  软件开发工程师 , 杭州明和科技
这个2000tb数据有 去重的可能性么?如果有,那直接归档到去重存储华为,emc,明和 都有专业的去重存储,价格也不是很高担心的问题,是基本无法去重,这个要实测如果能够去重70%,那就是600TB,现在大容量单块硬盘30T...显示全部

这个2000tb数据有 去重的可能性么?

如果有,那直接归档到去重存储

华为,emc,明和 都有专业的去重存储,价格也不是很高

担心的问题,是基本无法去重,这个要实测

如果能够去重70%,那就是600TB,现在大容量单块硬盘30T

收起
2023-10-19
浏览334

ChatGPT 回答

针对金融行业长期保留录音录像数据的需求,建议采用以下备份及存储方案:

  1. 异构存储方案:采用不同的存储设备和技术,如硬盘、磁带、云存储等,以提高数据的可靠性和安全性。其中,磁带备份是一种经济适用、可靠性高的备份方案,可大幅降低备份成本。
  2. 数据备份方案:采用增量备份和差异备份的方式,以减少备份数据量和备份时间。同时,备份数据应定期进行验证和恢复测试,以确保备份数据的完整性和可用性。
  3. 数据存储方案:采用分层存储的方式,将数据按照不同的访问频率和重要性进行分类存储,以提高数据的访问效率和降低存储成本。同时,应采用压缩和去重等技术,以减少存储空间的占用。
  4. 数据保留方案:应制定详细的数据保留策略和流程,确保数据的合规性和安全性。同时,应定期对数据进行归档和销毁,以减少存储成本和安全风险。

综上所述,以上备份及存储方案可以提高数据的可靠性和安全性,同时降低备份成本和存储成本,是金融行业长期保留录音录像数据的一种经济适用、后期管理维护少的备份及存储方案。

提问者

zhao
zhao003
系统运维工程师金融科技公司

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-06-08
  • 关注会员:12 人
  • 问题浏览:3804
  • 最近回答:2023-10-19
  • X社区推广