非结构化数据读写，如何以较低成本实现定制化查询需求？

图片和文件，先要做应用上的分块设计，索引查找。然后建议考虑引入分布式存储结构。

就是底层硬件性能和上层应用设计两条路考虑。

传统的银行、保险行业的人工柜台、信贷申请、承保和理赔等业务除了在数据库中记录交易信息，往往也会产生大量的非结构化数据：照片、纸质文件扫描件、取证文件扫描件、现场照片等，依据金融行业相关法规要求，这些文件需长期保存，以便于后督审计和避免可能存在的法律风险。
新型金融科技的背后，显而易见地会产生海量的图片、文档、音频和视频等非结构化数据，其文件个数和数据量都呈现爆发性增长，对原有的存储系统架构带来了更多的新挑战。
IT技术人员在选择分布式存储过程中，需要考虑的因素众多。如果能拥有一款既安全可靠、满足业务需求，又能实现便捷管理和成本优化，并能为后续的数据价值利用打下坚实基础的分布式存储产品，将极大地推动实现数字时代企业的IT基础架构转型升级。
而杉岩MOS海量对象存储，作为一款兼具企业级海量非结构化数据存储能力和智能数据处理能力的分布式存储产品，就围绕海量数据的“存储、管理、挖掘”需求，创新存储科技，成为海量、安全、智能、非结构化数据存储的合适选择。
海量数据安全存储
杉岩MOS基于分布式架构，支持百亿文件/EB级存储容量，单一命名空间下，满足高并发访问需求，支持业务在线时存储服务器横向扩容及整池扩容，扩容后新数据存放于新的存储池，老数据提供读服务，有效避免数据重平衡对前端业务的冲击；加之部署简单、灵活扩展的特点，可以充分满足爆炸式增长的非结构化数据存储需求，解决传统NAS存储无法弹性扩展的难题。
可靠性和安全性方面，杉岩 MOS支持副本、纠删两种数据冗余策略供用户按需选择。同时，通过桶内数据加密、WORM、多版本、回收站、CDP和多用户隔离等技术实现数据的加密、防误删、灾难恢复和权限控制等。
在兼顾性能和可靠性外，杉岩MOS还支持重删及压缩、数据分级存储、生命周期清除、传统SAN纳管和NAS/S3异构等多种成本优化技术，在帮助企业提高存储空间利用率、保护历史投资、节省存储空间和采购成本等方面有着独特的价值优势。
统一管理和简单运维
传统的SAN/NAS存储只能在局域网内访问，无法提供云边协同统一的数据管理能力。杉岩MOS不仅支持S3接口，还支持NFS、SMB、FTP、CSI、HDFS等丰富的接口，可以对接各种类型的应用，将各类数据汇聚到杉岩 MOS产品中，实现数据跨网络的统一管理和访问；支持NAS/S3纳管，省去了数据迁移与校验的过程，实现业务系统的快速切换与上线。
同时，根据数据不同的生命周期的阶段，杉岩MOS支持对数据进行全生命周期管理，支持冷热数据介质分层迁移、实时归档、延时归档、延时删除等，降低存储成本；与公有云相互兼容，将本地对象文件通过生命周期管理自动归档到公有云，实现业务无感知的数据上云、下云的融合和流动。
在运维层面，杉岩MOS提供了一系列的特性帮助用户简化运维，例如容量预警、桶审计日志、对象业务统计、硬盘亚健康、网络亚健康，多集群管理等。此外，在告警管理方面也支持多样化的告警方式，例如微信告警、电话告警、邮箱告警，支持自动巡检并生成巡检报告。
智能处理挖掘数据价值
在传统模式下，对数据库文件等结构化数据进行价值挖掘相对容易，但是对于图像、影音等非结构化数据的价值挖掘较为困难。为方便用户对非结构化数据的提取及使用，杉岩MOS集成了智能数据处理引擎，支持对非结构化数据进行多维度标签化和结构化处理，将图片转码、视频抽帧、OCR识别等数据处理能力下沉到存储系统内部，提升处理效率，通过标签检索对象，提升数据管理能力，降低成本并简化业务流程。

大量图片及音频文件即代表着需要使用大量的存储空间，很可能在上百TB以上，并且日常的查询及访问可能不会并发量那么大IOPS的峰值不会太高。这样来看引用软件定义存储还是比较好的一个选择，一方面可以提供大容量、一定的性能，另一方面对后期的扩展及维护成本均有利。

考虑分布式NAS存储，例如IBM的sonas

这个问题需要满足两个方面的需求，一个是高效读写性能，另一个是低成本。对于非结构化数据尤其是图片和音频资料采用低成本的NAS设备是一个不错的选择，总体拥有成本很低，也可以满足定制开发的需求。从提升读写效率方面考虑，除了可以考虑在后台存储设备上进行优化之外，通过软件层面实现查询效率的优化也是很好的办法。

同意楼上的观点，分布式存储是王道，索引，分流，集群设计，我觉得这方面成熟的方案不少，可以借鉴各种云的架构。

这个问题我觉得用存储分层比较合适，不同的存储存放不同类型的文件，访问时从不同的存储访问，另像流媒体类型的文件和图片类型的文件建议用闪存

一分钱，一分货；两毛钱，两分货；三块钱，三发货。

传统的文件存储方式已经不适用于现在的环境，目前在企业中流行云盘的使用，私有云盘对于这种文件、视频的管理、分享、协作会更方便高效。比如爱数的anyshare就是一个很好的解决方案。基于类似server san的架构，扩容管理也方便，成本相比传统存储要节省很多。

nas也不便宜哦