2PB录音录像数据长期保留20年方案？

1、你有没有专门的历史数据归档系统？有的话，复用这个归档系统。好处是有接口，有规范，可以按归档系统的设计存放，取用方便。一般来说都是磁盘介质，底层可能是对象存储或者hadoop。管理维护由归档系统统一完成。
2、有没有集中备份系统？备份系统的几种介质都可以，比如磁带，磁盘，PBB专用备份设备。从前到后成本和可靠性依次增加，管理难度和数据迁移难度依次降低。
3、如果以上两种都没有，可以用对象存储，自己设计一下如何保存。
都是有学习成本的，要根据你的具体情况分析。技术的价值不是直接出一个通用的方案，而是针对不同的场景和需求，设计对应的最佳方案。

保留2PB录音录像数据长达20年的方案，需要考虑以下2个因素：

1. 存储介质：选择可靠、安全、容量大的存储介质，例如硬盘阵列、磁带库等。同时，为了防止单点故障导致数据丢失，建议采用分布式存储结构来备份数据。
2. 成本分析：选取合适的存储介质和备份方案，需要考虑经济成本，实现在成本可控的前提下最优解。
3. 数据加密与权限管理：对数据进行加密处理，加强访问权限管理和审计跟踪能力，防止非法访问或者数据泄露，并确保符合数据隐私保护要求。
4. 数据迁移：长期保存的数据需要进行定期检测，并对即将过期的存储介质进行迁移和转储，以保证数据持久性和可访问性，并避免存储介质的损坏导致数据的丢失。

首先从存储介质的选型角度来看，磁带技术最为成熟稳定，有着良好的技术发展路线，在温湿度适宜的情况下，其保存时间可达30年以上。

从整体方案来看，建议采用昆腾公司的ActiveScale Cold Storage方案，其目的是帮助客户在本地
打造一个类AWS S3 Glacier存储，充分利用S3，磁盘和磁带特性，加上特有的2维纠删技术，使得数据持久性最高可达19个9，该方案比纯磁盘方案节省超过70%的TCO。

其本身是一套对象存储，前端提供S3接口，存储介质是由磁盘和磁带组成，具备2个storage-classes，分别是standard和glacier；standard=磁盘层，glacier=磁带层，这样通过标准的S3API即可完成数据层的转换。

无论是存放在本地还是异地，都需要考虑长期保存下，存储介质（存储数据）的可用性。
归档系统：磁盘+磁带形式比较靠谱。
进线磁盘（可用分布式存储，对象存储），离线：磁带。

无论哪种，都建议多分副本存放，定期恢复检查。

2PB不算多，但是20年还是很长的。

如果原来有带库，就用磁带，三年检查一次。

如如果没有带库，现买就太贵。可以考虑蓝光光盘库，相对便宜点，也考虑两三年抽查一下，必要时修复

考虑20年和数据量的要求，除了管理软件（归档软件或是备份软件）重点需要考虑保持的介质
理想情况下保存时间长且经济的重点考虑磁盘和光盘
从磁带机的发展情况看，磁带会面临每隔3代需要升级的情况（新的磁带机一般向下兼容2代的磁带格式），20年的时间太长了，不知能否找到能读当初备份数据的磁带（类似于现在还有3.5寸的软盘，但是软驱已经基本看不到了）
综合考虑 光盘应该比磁带和磁盘靠谱

方案1无需业务改造可直接采用传统NAS接口落地但数据调用查询效率较慢，方案2和3要求业务必须支持S3接口才能落地但数据调用查询效率较快，方案3可应对监管规范的长期数据保存介质要求；
方案一：都是历史数据，无热温数据调用的情况下，处于兼容角度考虑，建议全部采用分布式NAS存储+磁盘介质方式， 少量SSD+HDD的高密4U设备作为存储节点，NAS存储配置EC纠删码取得高得盘率来持久化数据，应对录音录像提供标准NFS、CIFS、FTP协议接口；
方案二：都是历史冷数据，无热温数据调用的情况下，处于维护便捷角度考虑，建议全部采用对象存储+磁盘介质方式，少量SSD+HDD的高密4U设备作为存储节点，对象存储配置EC纠删码取得高得盘率来持久化数据， 应对录音录像提供标准S3协议接口；
方案三：有热温数据的临时调用，建议采用对象存储+蓝光光盘库/磁带库的方式，热温数据通过对象存储本地多副本策略的SSD+HDD进行持久化，提升热温数据访问效率，另外将历史冷数据通过对象存储流动引擎策略在线转存至次级存储(蓝光或磁带) ， 应对录音录像提供标准S3协议接口；

使用磁带归档系统最合适。
stornext

对于金融行业需要长期保留大量录音录像数据的情况，以下是一些业界常用的备份和存储方案，旨在提供经济适用性和后期管理维护的优势：

1. 磁带存储（Tape Storage）：磁带备份是一种经济实惠的长期数据存储解决方案。磁带具有较低的成本和高容量，适合长期存储大量数据。磁带还具备较好的可靠性和耐久性，且可以离线存储，以防止数据遭受网络攻击。然而，访问数据需要较长的检索时间，因为需要加载和定位磁带上的特定部分。
2. 冷存储（Cold Storage）：冷存储是一种低成本的云存储解决方案，适合长期保存不经常访问的数据。云提供商如Amazon Glacier和Google Cloud Storage Nearline提供了冷存储选项，其价格相对较低，但数据访问速度相对较慢。这种方案适用于不需要频繁访问的归档数据，并提供了数据冗余和可靠性。
3. 分层存储（Tiered Storage）：分层存储将数据根据访问频率和重要性划分为不同的层级，并将其存储在不同的介质上。例如，将经常访问的数据存储在高性能的固态硬盘（SSD）或硬盘阵列中，而不经常访问的数据存储在较便宜的磁盘或冷存储中。这种方法可以提供较高的性能和经济效益，并根据数据的需求进行灵活管理。
4. 压缩和去重（Compression and Deduplication）：使用数据压缩和去重技术可以降低存储需求。压缩可以减小数据的物理存储空间，而去重可以识别和消除重复的数据块。这些技术可以帮助减少存储成本，并提高数据传输和备份速度。
5. 存储虚拟化（Storage Virtualization）：存储虚拟化技术可以将多个存储设备抽象为一个统一的存储池，简化管理和扩展。通过存储虚拟化，可以更有效地利用存储资源，并提供灵活的数据迁移和备份功能。

需要注意的是，具体的备份和存储方案应根据您的具体需求和预算来确定。您可能需要与存储供应商或专业的IT咨询公司合作，根据您的存储容量、性能要求、数据安全性和成本预算等因素，进行定制化的方案设计和实施。

这个2000tb数据有 去重的可能性么？

如果有，那直接归档到去重存储

华为，emc，明和 都有专业的去重存储，价格也不是很高

担心的问题，是基本无法去重，这个要实测

如果能够去重70%，那就是600TB，现在大容量单块硬盘30T