交通行业的大量非结构化数据给传统IT基础架构带来高压力探讨?

交通视频监控系统是安装在高速公路出入主要道路口、收费站、桥梁、隧道出入口等处,除了满足对监控范围内车辆历史通行数据的精确查询和GIS地图上的行驶轨迹回放,还需要掌握公路的实时天气状况,最大限度的满足各种交通监测、预警以及应对交通突发事件时的应急处置时的现场实...显示全部

交通视频监控系统是安装在高速公路出入主要道路口、收费站、桥梁、隧道出入口等处,除了满足对监控范围内车辆历史通行数据的精确查询和GIS地图上的行驶轨迹回放,还需要掌握公路的实时天气状况,最大限度的满足各种交通监测、预警以及应对交通突发事件时的应急处置时的现场实时状况等需求提供重要的技术手段和证据。

近年来,随着交通信息化的监测预警、运行调度等业务发展,带来数据量激增,产生大量视频、图片等非结构化数据,这给IT基础架构带来压力:

1、前端卡口采集和生成的数据多为文本和图片数据,需要高并发、高吞吐量写入后端存储和处理平台。一般建设卡口数量都在上百个,在传输带宽满足的条件下,如何保障后端存储能够支撑Gbps以上规模实时并发数据写入?

2、实时查询和分析处理要求性:系统记录属于非结构化数据,记录量级一般在TB级规模,闪存阵列是否可以满足海量数据高效检索和分析的性能要求?

3、系统延展性,传统磁盘阵列横向扩展能力差,系统扩容时对业务应用会产生影响,无法做到自动负载均衡和在线热扩容。

收起
参与36

查看其它 3 个回答pwey的回答

pweypwey系统架构师中体骏彩

对于非结构化数据,我们在这里也已经不是一次性讨论了,对于非结构化数据,主要需要解决楼主指出的几点问题。

1、对于高并发,结构化数据我们更应该注意的是IOPS,而非结构化数据一般都是大数据块的增删改,所以会涉及到楼主谈到的带宽问题,对于访问带宽,可以通过1楼说的分布式或者一定要使用集中式存储的话,就要增加控制器数量,增加集中存储的前端和后端的端口数量,一般的高端存储带宽都可以满足GB以上的带宽需求;

2、查询及分析就涉及到了性能问题,其实也是第一个问题的延伸,在可以满足带宽和IOPS需求后,我们还要找到适合非机构化数据的应用处理方式,这个就需要找最适合自身业务特点的应用架构模式,需求肯定会有不同,交通行业主要就是图片和视频,采用关系型数据库肯定不合适,选择非关系型数据库比较适合;

3、我相信不光是传统存储不支持在线扩容,分布式存储你一样需要做数据迁移,在这个上面,谁都不会去尝试在线迁移,比较风险还是较高的,传统存储横向扩展能力差,主要是说当集中存储达到满配时,做级联的存储会受到连接线的带宽限制,会影响到扩展性能,自动负载均衡现在很多集中式存储都是支持的。

政府机关 · 2016-01-06
浏览2693

回答者

pwey
系统架构师中体骏彩
擅长领域: 存储灾备虚拟化

pwey 最近回答过的问题

回答状态

  • 发布时间:2016-01-06
  • 关注会员:8 人
  • 回答浏览:2693
  • X社区推广