存储架构的选型和技术规划？

脱离业务场景谈数据存储选型都有点海市蜃楼，每个业务场景对云存储的需求都不通，数据的类型、IO特征、数据容量都会左右云数据存储的选择。

在常规的上云业务，数据存储主要为对象和块，对象主要是OSS，块主要为云盘等。在数据存储的选型上，思路与方法和传统存储均类似，可以参考数据中心业务存储选型的经验。

云存储底层的容错机制和手段，普通用户大多无感或者不可见，初始化配置的时候云存储也有默认推荐。分布式存储主要通过副本机制实现容错及块复制这些高级功能，对象主要通过复制、跨区同步等手段提高数据可用性，块容错机制各家方式不一样，对用户也无感，无须过多干预，若是数据需求高，可通过快照/一致性快照提供可靠性。

首先，存储架构的选型和技术规划需要根据实际情况进行定制化设计，以下是一些通用的建议：
1.数据类型和容量：根据数据类型和容量要求，选择适合的存储设备，例如硬盘、固态硬盘、磁带等。
2.性能和速度：根据数据读写性能和速度要求，选择适合的存储设备，例如高速硬盘、固态硬盘等。
3.数据安全：根据数据安全要求，选择适合的存储设备，例如RAID、备份系统、加密存储等。
4.数据容错和可用性：根据数据容错和可用性要求，选择适合的存储设备，例如冗余存储、分布式存储等。
5.数据管理和备份：根据数据管理和备份要求，选择适合的存储设备和备份系统，例如云存储、磁带库等。
6.成本和可扩展性：根据成本和可扩展性要求，选择适合的存储设备和存储架构，例如分层存储、云存储等。
总之，存储架构的选型和技术规划需要根据具体需求进行定制化设计，选择适合的存储设备和存储架构，以确保数据的安全、可靠、高效和经济。同时，需要定期评估和优化存储架构，以适应不断变化的数据需求和技术发展趋势。

然后，分布式架构确实是现代云平台存储的趋势，因为它可以提供更高的可靠性、可扩展性和性能。然而，是否需要采用分布式架构取决于具体的业务需求和数据规模。 对于小型的云平台项目，单节点存储系统可能已经足够，而对于大型的云平台项目，分布式架构可能是必要的。同时，分布式架构的设计和实现也需要考虑复杂性、管理和维护成本等因素。 因此，需要根据实际情况来决定是否采用分布式架构，而不是盲目地追随趋势。同时，在决定采用分布式架构之后，需要仔细规划和设计，以确保系统的稳定性和可靠性。

最后，分布式存储采用三副本和EC纠删码机制都是为了提高数据的可靠性和可用性。它们各自有一些优缺点，下面进行简单的比较：

三副本机制：
优点：

• 可以提供更高的数据可靠性，因为数据有三份备份，即使一份出现故障，其他两份仍然可以保证数据的可用性。
• 数据恢复速度相对较快，因为只需要从其他两份备份中复制即可。
  缺点：
• 会占用更多的存储空间，因为需要存储三份备份。
• 数据传输成本相对较高，因为需要将数据传输到三个不同的节点。

EC纠删码机制：
优点：

• 可以在更少的副本数量下提供相同的数据可靠性，因为EC纠删码可以通过数学运算来恢复数据，而不是需要完整的数据副本。
• 占用存储空间相对较少，因为不需要存储多个完整的副本。
• 数据传输成本相对较低，因为只需要传输一份数据和纠删码片段。
  缺点：
• 数据恢复速度相对较慢，因为需要进行数学计算和数据恢复操作。
• 对于小规模数据，EC纠删码可能会占用更多的CPU资源。

综上所述，三副本机制适合需要高可靠性和可用性的场景，而EC纠删码机制则适合需要节省存储空间和降低数据传输成本的场景。在实际应用中，可以根据具体的业务需求和数据规模来选择适合的存储方案。

对于每一个银行信息系统的建设和维护人员，永远绕不开的是如何保障业务的持续稳定无间断运行，最关注的是系统的稳定性，可靠性和高可用性。选择存储最重要可靠稳定，容灾架构案例多，可靠性好其它其次。从以下方面进行选择：
高可靠性：灾备系统是为了进一步增强关键业务数据的抵御灾难能力，所以在灾备系统设计阶段需要充分考虑其自身的稳定性和可靠性，从而保障关键数据能够持续、稳定的传送到异地灾备中心。当出现任何问题时都能够通过灾备数据得以恢复。
高性能：充分考虑容灾系统的处理能力，使其整个系统在国内三到五年内保持领先的水平，并具有长足的发展能力，以适应未来灾备技术的发展。
标准化：所有灾备解决方案都应符合有关国内及国际标准以保证不同品牌灾备解决方案之间的互操作性和系统的开放性。
可扩展性：当前灾备系统的设计不但应满足当前需要，还需充分考虑业务的发展，同时便于向更新技术的升级与衔接，保护当前投资。
可维护性：整个灾备系统的设计，充分考虑易于管理，易于维护，操作简单，易学，易用，便于进行配置，发现故障。
安全性：由于灾备系统承载的是关键业务系统的数据备份，所以设计需要考虑传输、存放等灾备整个过程中的安全性。
高性价比：灾备系统建设首先要从系统的实用性角度出发，满足不同的业务系统的实际需要和前瞻性的同时，选择最高性价比的设计方案。

针对目前的数据增速，分布式架构确实比较合适的选择，不是唯一选择，我们可以根据业务类型，数据结构等选择合适的架构。选择分布式，集中式，对象存储相结合。

目前来看，分布式存储是主流趋势，扩展性较好，比较适合云环境，但是集中式存储发展了很多年，稳定可靠性较高，在项目建设过程中，可以考虑两者结合同步建设，待将来运行后再逐步统一架构。

目前来看。分布式架构在应对海量数据，特别是非结构化数据方面确实有很大的优势。也成为目前的主流，三副本或纠删码来保障整个架构的可靠性。不过所有的规划和设计脱离了应用场景的实际情况都不现实。不通的业务类型，技术能力，资金投入都会影响最终的规划和设计的实际落地。分布式架构也好。集中式存储也好。只是一种技术手段。我觉得现在项目设计和规划的原则应该是结合实际情况综合考虑，采用最适合的方案，而不是最流行的方案。

可参考过往杂志期刊内容，如下所示：

《迈向YB数据时代》2022夏季刊之——【趋势动态】议题4：云环境下，企业应该如何根据不同的业务负载、数据特征选择最适合的存储技术路线？
《迈向YB数据时代》2022秋季刊之——【架构选型】议题4：全栈信创技术的存储架构如何设计？
《迈向YB数据时代》2022秋季刊之——【架构选型】议题3：面对典型数据场景下的存储架构选型如何设计？

主要是看应用需求。如果需要硬件的可选择性、芯片的多样性，扩展的方便性，管理的易用性等角度来说，当然是分布式存储，尤其是软硬分离的软件定义存储更合适一些。
至于是用对象、块还是文件，就看具体的业务需求了。