交通行业的大量非结构化数据给传统IT基础架构带来高压力探讨？
交通视频监控系统是安装在高速公路出入主要道路口、收费站、桥梁、隧道出入口等处，除了满足对监控范围内车辆历史通行数据的精确查询和GIS地图上的行驶轨迹回放，还需要掌握公路的实时天气状况，最大限度的满足各种交通监测、预警以及应对交通突发事件时的应急处置时的现场实时状况等需求提供重要的技术手段和证据。
近年来，随着交通信息化的监测预警、运行调度等业务发展，带来数据量激增，产生大量视频、图片等非结构化数据，这给IT基础架构带来压力：
1、前端卡口采集和生成的数据多为文本和图片数据，需要高并发、高吞吐量写入后端存储和处理平台。一般建设卡口数量都在上百个，在传输带宽满足的条件下，如何保障后端存储能够支撑Gbps以上规模实时并发数据写入？
2、实时查询和分析处理要求性：系统记录属于非结构化数据，记录量级一般在TB级规模，闪存阵列是否可以满足海量数据高效检索和分析的性能要求？
3、系统延展性，传统磁盘阵列横向扩展能力差，系统扩容时对业务应用会产生影响，无法做到自动负载均衡和在线热扩容。
4同行回答
对于非结构化数据，我们在这里也已经不是一次性讨论了，对于非结构化数据，主要需要解决楼主指出的几点问题。
1、对于高并发，结构化数据我们更应该注意的是IOPS，而非结构化数据一般都是大数据块的增删改，所以会涉及到楼主谈到的带宽问题，对于访问带宽，可以通过1楼说的分布式或者一定要使用集中式存储的话，就要增加控制器数量，增加集中存储的前端和后端的端口数量，一般的高端存储带宽都可以满足GB以上的带宽需求；
2、查询及分析就涉及到了性能问题，其实也是第一个问题的延伸，在可以满足带宽和IOPS需求后，我们还要找到适合非机构化数据的应用处理方式，这个就需要找最适合自身业务特点的应用架构模式，需求肯定会有不同，交通行业主要就是图片和视频，采用关系型数据库肯定不合适，选择非关系型数据库比较适合；
3、我相信不光是传统存储不支持在线扩容，分布式存储你一样需要做数据迁移，在这个上面，谁都不会去尝试在线迁移，比较风险还是较高的，传统存储横向扩展能力差，主要是说当集中存储达到满配时，做级联的存储会受到连接线的带宽限制，会影响到扩展性能，自动负载均衡现在很多集中式存储都是支持的。
收起对于非结构化数据，IO模型多以顺序大IO为典型，往往要求存储系统可以提供高带宽，因此后端磁盘可以用大条带深度的的RAID5组成的pool，另外存储前端口充足，后端口一般我们无法控制，像高端存储后端磁盘会比较均衡的散列在后端板卡上，另外在整个IO path上，也就是服务器-san switch-存储系统不要有带宽短板，以规避木桶效应，现在主流的存储前端口可以配置16G，后端口也是12G了
对于TB级的数据进行实时检索，要看数据访问的特性，如果适用于分层存储，那是最好的性能和成本兼具的解决方案。
传统外置存储的scale out，产品差异性还是挺大的，如hp 3par的中端存储也可以进行四控的scale out，另外存储虚拟化的引入实际上也可以变相增强存储的扩展性，利用其在线的数据迁移功能，可以方便的在后端挂接存储上的数据重新分布
收起1、可采用分布式存储，提供高并发和吞吐量，并且可以进行横向扩展。
2、实时查询采用闪存阵列，从后端的响应速度来看应该是可以的，关键在于如何在前端和数据库查询语句方面进行调优，比单纯提升硬件来的更加靠谱些。
3、我并不认为传统存储阵列的处理能力就差，横向扩展是基于在什么环境下进行扩容，像ibm ds8870这种阵列其实还是蛮强悍的，值得一提的是其采用的自动热点负载easy tier还是很不错的。
收起首先我赞同您和楼上的建议，我觉得闪存阵列是比较适合推荐给您的方案，但要提醒一点，钱要准备充足啊！
至于您关心的闪存容量以及带宽速率问题，IBM的闪存阵列参数如下，供您参考：
IBM Flash900最高容量可以做到100TB的裸容量，57TB可用容量,最低延迟仅有90微妙写，155微妙读。最大读IOPS可以达到110万，最大写IOPS可达60万；带宽方面最大读带宽是10GB/s，写带宽是4.5 GB/s。
如果客户对容量要求更大并且考虑到线性扩展能力方面，那么我推荐采用IBM Flash V9000,不仅保持着高性能低延迟的特性，还可线性扩展至 456 TB 可用容量 (使用压缩：最高达2.28 PB有效容量)并且对业务不会产生影响。
收起