0
相关数据统计,预计2020年全球数据总量将达到44ZB,其中超过80%是非结构化数据。
繁多的数据种类、PB级的数据量、低价值密度的视频数据、快速的数据更新处理需求等,这些特性都预示着视图数据市场已经进入大数据时代。
近年来,随着各地智慧城市的大力建设,汇聚了海量以视频为核心的数据,催生对城市视频、图像、信息等多元数据的分析和应用需求。
如何针对海量监控视频数据进行多维感知接入、全网汇聚、存储、智能分析、多维融合碰撞及应用挖掘,成为重要的业务课题。
就此,雷锋网AI掘金志采访到大华股份业务专家付文明,他提到,云计算技术和智能算法的长足进步,让针对海量多维数据进行智能化分析成为可能。
随着科技的发展和城市管理者对视频应用需求的不断提出,针对视频图像数据的多维大数据融合应用关键技术也在经历革新。
1、非结构化数据分析处理
安防行业中,视频图像等非结构化数据占到数据总量的95%以上。
长期以来,受限于传统产品的功能和处理能力,客户只能对视频、图片全量浏览查看,耗时费力。
目前,随着视频浓缩摘要、图片二次分析等新技术日渐成熟,以及各种视图智能识别算法的应用,已逐步支撑起非结构化数据的分析处理需求。
为了满足客户获取视频图像中的高价值结构化信息的新需求,需要优化甚至重新设计现有非结构化数据分析工具,提高其在各种新业务场景下的适应性。
2、云计算技术
进入大数据时代以来,客户对于搜索、布控的实时性以及吞吐量的要求都在不断提升。
以卡口系统为例,支持日过车500W已经成为基本要求,日过车2000W的城市也不在少数,这就使得系统单位时间内需要处理的数据量急剧增加。
对于视频等非结构化数据的处理,客户已经不满足于单纯单机烟囱式建设的传统系统,而是要求对单个文件也有极致的处理性能,并且能支持Scale-out方式按需提高性能。
对于过车记录、过人记录等结构化数据,以及图片二次识别后的特征向量数据,进行分析比对应用,同样需要高性能的计算能力支撑。
云计算具有天生的高扩展性,同时Spark、Hadoop等并行计算框架可以充分利用集群所有服务器的性能,将多台设备的计算资源虚拟化,对外提供统一的强大算力。
云计算技术是大数据时代非结构化数据分析,以及结构化数据分析比对应用的强力支撑。
3、多维大数据融合应用
两年前,只有一些大的厂家才开发了丰富的业务平台来实现多维大数据的融合应用,在实际的大项目中实现落地部署。
现在业内很多厂家都宣称已经有了自己的多维大数据平台,但是业务功能复杂性相对来讲差异还是比较大。
下一步要想在项目中取得领先,各厂家就必须要有多维大数据存储计算的基础平台和完备的端到端解决方案,体现综合的解决方案竞争实力。
多维大数据时代,信息流通和共享是关键,多维数据在被使用的过程中才能体现出它的价值。
对于海量非结构化数据及多种物联感知数据来说,极速的数据存取系统和开放的结构化处理系统,才能支持后续多维数据碰撞挖掘,保证其价值的最大化。
随着视频图像数据资源的规模越来越庞大、增速迅猛以及各类物联感知系统(车辆卡口、电警、人脸卡口)的接入,为信息资源的管理和应用带来了巨大挑战。
因此,付文明认为,需要进一步深化多维数据信息应用,提升实战应用效能,才能够持续完善立体化社会治安防控体系,不断提升平安城市建设能力和水平。
1、百万级视频接入已成趋势
当前城市公共安全管理中,尤其是公安、应急等政府职能部门在城市管理和执法时,都需要控制、浏览、查询和调用相应区域位置的视频图像资源。
通过相应的共享机制,系统需要为全市各政府职能部门、行业条线、企业单位、社会公众提供视频图像资源的联网共享、基础应用和高级应用等支撑,并通过视频的管理和运维功能,实现对各类共享用户的统一门户登录和统一授权管理,建立设备的类型、权属和功能的三相关系模型,建立用户的组织、角色和权限的三相关系模型;建立专业运维队伍和运维管理系统,实现平台系统运行状态监测,也可接收下级平台提供的系统设备、网络、软件运行状态和视频质量监测数据等信息,进行量化考核。
2、大数据应用市场需求日趋旺盛
市场对视频图像的使用需求已经不满足于简单的浏览查看,而是希望可以从海量数据中挖掘分析得到更高价值的信息。
例如,可以从景区实时视频摘要的数据中统计得到各地周末及节假日的人流量、车流量,以告知旅客各个景点的热度、交通拥堵情况,帮助其安排出行;可以根据卡口监控的视频数据统计分析交通拥堵实时情况及历史规律,帮助交警做疏导或管制,有备无患;可以根据各种数据模型检测河流湖泊的水质和生态系统情况,及时预警,帮助生态研究;可以建立面向大学的教室监控系统,智能统计到课率,帮助学校改进教学质量;可以面向监狱,进行实时行为检测,判断是否有异常人员并及时报警等。
基于云计算的海量非结构化处理技术在旅游、环保、教育、安防等各个行业的大数据应用得以实现,会创造大量全新的细分市场。
3、多业务应用场景对多维智能化应用提出更高要求
如何运用海量的视频图像数据为情报、刑侦、治安、技侦等不同警种提供更加丰富和实用的视频应用服务,从“事后被动侦查”到“事前主动预警”是业务发展的核心需求。
多维大数据融合应用是通过前端感知设备采集各类时空数据。
此外,还可以利用视频结构化技术提取视频中的人、车等信息,把这些信息与安防业务系统中的警务数据相结合,不断深入挖掘数据深层次价值,构建一张“多维智能感知防控网络”,打通数据壁垒,服务全警应用。
多维大数据融合应用是基于云存储、云计算技术,结合安防行业特点和需求,整合新一代非结构化数据智能化处理技术,通过自主创新方式研发制定的。
其优秀的创新特性可以提升安防监控行业的核心竞争力,也是为行业发展做了一次有益的探索,从而加快安防新技术的发展。
对很多行业来说,多维大数据融合应用都会使业务模式发生彻底变革和性能规模出现巨大飞跃。
然而,每个行业对于海量数据的存储、计算、碰撞、挖掘都有不同的需求,当多维数据深入每个行业进化融合,才体现出它真正的价值。
安防行业涉及大量人、车信息记录,在实时录入数据的情况下要求极速分析搜索,等等。这些要求都促使我们深入研究多维大数据融合应用与安防业务的结合点,从而为后续深度智能化应用提供更多价值数据。雷锋网雷锋网雷锋网
雷峰网原创文章,未经授权禁止转载。详情见转载须知。