小TB海量小文件管理、检索有什么好的解决方案？

我们选择的解决方案是NetAPP的NAS存储，提供非结构化数据的集中管理，去重，提供高并发能力。
当然检索的技术，各个厂商不同，但是他们的类型是非结构化的，所以可以集中考虑非结构化存储。

在存储和查询效率角度看来，采用文件存储这种传统的结构化数据方式肯定不能满足海量小文件管理的需求了，针对这类文件数据的存储，上对象存储是最好的解决方案。
目前市场上主要有的对象存储分成公有云存储和私有云存储，针对公有云存储的话，文件的检索依赖于公有云本身的检索功能，检索效率相对还是会有瓶颈。如采用私有云方案，目前业内比较泛用的是将对象存储元数据单独保存在index索引存储池中，再用ElasticSearch实现快速的元数据查询。
在私有云方面，开源方案主要是Ceph，对软硬件支持较多且无绑定，未来可扩展性也好。