金融行业非结构化数据存储管理，杉岩海量对象存储如何脱颖而出？

随着金融行业数字化升级进程的快速推进，法规的日趋规范和严谨，远程开户、柜面无纸化、双录、投行投研等各类业务系统产生的录音、录像、图片、日志等非结构化数据快速增长，给IT基础架构带来巨大挑战。如何选择适合金融企业自身的存储系统优化之道？让海量非结构化数据存得下、管得好、用得爽？

一、数据爆发式增长带来的存储挑战

金融行业信息系统涉及的数据具有类型繁多、数据大小不一、数据总量大和需要长期保存等显著特点。例如金融票据影像业务场景，产生的原始票据扫描件和描述信息文件，单个文件大小为几KB至几百KB不等，文件数量达到数千万乃至数十亿，逐年增长趋势明显。

同时，IT基础设施和业务系统运行过程中会生成大量的日志文件，记录各类操作、事件和错误信息。这些日志文件除了用于日常监控和分析系统的运行情况，还可以提高交易和操作的可追溯性、合规性和安全性，并为日后的审计、调查和纠纷解决提供重要的支持，需要进行长期保存。

如何采取有效技术手段和措施应对数据快速增长的挑战，对海量的数据进行有效的管理，是每一位金融科技从业人员重点考虑的难题。

二、海量非结构化数据场景，存储如何选择？

面对数亿甚至数千亿的非结构化数据，底层存储系统的要求非常高。金融行业应从自身实际需求出发，从业务使用情况、数据类型、应用等级等多个维度进行数据存储系统的规划。为了确保新存储能完美的承接当前海量非结构化业务数据的要求及满足中长期发展规划，可重点考虑以下几个方面：

1.系统稳定可靠

金融行业处理的数据涉及客户账户信息、交易记录、市场数据等重要信息，如果存储系统出现数据安全或业务中断等问题，将严重影响金融机构的声誉，并导致客户流失。

因此，存储系统必须确保数据的完整性，防止数据丢失、损坏或篡改，以维护金融机构和客户的利益。存储系统应有完善的副本/纠删码、容灾备份、双活等数据保护机制。

2.灵活的扩展能力

金融行业面临着快速变化的市场和业务需求。新的业务模型、金融产品和服务的引入会导致数据规模和存储要求的变化。扩展性强的存储系统可以灵活地适应业务需求的变化，提供更高的容量和性能，确保能够承载大规模的数据增长。

此外，存储系统应支持不同批次的硬件产品在线扩容。例如屏蔽CPU架构和操作系统的差异、磁盘容量差异、服务器品牌型号差异等，否则将来扩容会很被动，扩展能力受限。

3.平稳的高性能输出

金融机构业务系统众多，例如保险行业柜台、信贷、承保、理赔等关键系统，还有数量众多的互联网、APP等业务请求，存储系统需要确保持续平稳高性能，能够提供数据的快速访问能力，以支持实时的数据分析、风险管理和决策制定。

为了应对不同业务系统之间不同的访问性能要求，存储系统应具备灵活的QoS能力。保证数据量在百亿级甚至千亿级时，性能仍能保持平稳的输出，获得相同的数据访问SLA。

4.便捷的运维能力

金融机构的运维团队需要具备对存储系统进行实时监控的能力，监测关键指标和调优性能参数，及时发现和解决潜在的故障和问题。存储系统具备自动化运维和管理能力，可以减轻运维团队的负担，提高效率和减少人为错误。例如提供灵活的存储配置、容量管理、性能优化、监控告警及故障检测等能力，并能够适应数据规模的快速增长，自动规划以方便灵活地做出调整。

5.总体拥有成本（TCO）较低

金融机构数据中心建设除了需要关注硬件、软件获取成本及安装费用等前期投资成本，后续的运维、人员成本、功耗等运营成本同样不可小觑。如传统集中式存储由于扩展性差，一般采购时都要根据业务需求预留数年存储资源，这部分预留资源长期处于闲置状态，造成资源隐性浪费，且由于采用专用硬件，在质保期结束后，维保费用通常非常高昂。

从以上的分析可以看出，IT技术人员在存储选型过程中，需要综合考虑的因素众多。面对海量非结构化数据的快速增长，业务系统对I/O吞吐量的要求高，后续扩容需求巨大。传统块存储（SAN）和文件存储（NAS）由于存储控制器扩展性受限，在海量文件场景下（如单文件系统的文件数量到5000万以上）往往会出现性能瓶颈，且其扩展及快速检索能力显得捉襟见肘；而公有云存储方案可能会遇到因网络问题导致数据的不可用性或访问延迟增加，且在数据隐私、安全性、迁入迁出成本高等方面的问题也不可避免。

三、杉岩海量对象存储，破解非结构化数据存储难题

对象存储作为一种先进的数据存储方式，可以提供灵活的扩展性、高性能I/O吞吐及丰富的运维管理能力。经过多年的发展及技术沉淀，在百亿级甚至千亿级海量非结构化数据存储业务场景下，已成为金融行业更优的选择。

杉岩海量对象存储（杉岩MOS），作为一款针对海量非结构化数据存储场景设计的软件定义存储产品，经过超千家客户实践检验，如何脱颖而出，成为海量非结构化数据安全、智能、高扩展性、高性能存储的最佳选择？

图 杉岩数据金融非结构化数据存储解决方案

1.安全可靠，存储无忧

采用全布式架构，支持副本、纠删码、亚节点纠删等数据保护机制，支持WORM、桶内数据加密等防篡改功能，具备资源统一管理、跨域访问、同城双活、异地容灾能力，全面保障数据安全。

2.灵活扩展，不挑硬件

支持EB级容量/千亿级文件，随业务发展而灵活规划容量需求，在线弹性扩展，成本按需投入；同时支持x86、ARM等硬件体系架构，兼容主流软硬件生态，避免硬件服务厂商的锁定。

3.创新技术，极致性能保障

独立元数据架构，通过小文件合并、元数据独立扩展、元数据有序优化、用户/桶级别QoS等创新技术，解决海量数据场景下访问性能骤降的问题。

4.可视化管理和自动化运维

提供简洁高效的资源管理及运维监控，如容量预警、桶审计日志、对象业务统计、硬盘亚健康等功能，并能自动预测和提供运维建议，有效地降低运维压力。

5.多种技术，实现成本节省

支持SAN纳管、NAS/S3异构技术，省去了数据迁移与校验的过程，保护客户历史投资，降低采购成本。通过纠删码、亚节点纠删、数据重删、压缩等技术，在满足性能及可靠性要求同时节省存储空间。此外通过数据生命周期管理实现冷温热数据介质分层迁移，可将冷数据自动归档至公有云或蓝光存储，实现大容量、低成本、长期保存数据。

四、结语

在非结构化数据爆发增长的“数字时代”，软件定义的分布式对象存储将成为主流。金融企业在向分布式存储转型过程中，应该从自身业务需求和未来规划出发，平衡存储的可靠性、扩展性、性能、易用性和成本等多个方面，重点选择业界产品成熟、用户案例丰富的商业存储，做出存储基础架构升级的最优解。

杉岩数据作为中国软件定义存储市场领导厂商，聚焦软件定义存储技术的研发与应用，可为金融行业提供“存、管、用”一体化数据存储和管理产品及解决方案。

截至目前，杉岩数据已服务于恒丰银行、广发银行信用卡中心、江苏银行、浙江农信、国泰君安、国信证券、海通证券、广发证券、中国人保财险、中银保险等近百家金融用户，有丰富的实践经验，帮助客户实现IT基础设施建设更敏捷、更高效、更安全。

图 杉岩数据金融行业代表客户