摘要:针对智能视频监控的三个技术挑战而言,包括编码的技术挑战,多摄像头搜索的技术挑战,以及现在的图像质量不够的技术挑战等,目前在进行很多的积极尝试,但现有的技术水平距离智慧城市对视频的质量和监控系统的要求,还存在一定的差距。
视频监控是一座城市安全的重要保障,在平安城市、数字城市,乃至智慧城市建设中起着至关重要的作用。在今年3月24日于香港召开的第二届智慧城市与智能系统院士论坛上,高文院士结合监控视频处理技术发展历程和存在的挑战,就其在监控视频处理技术领域的应用与前景提出了前瞻性的观点,获得了与会院士、专家及业内人士的高度认可。
第二届智慧城市与智能系统院士论坛由中国工程院、香港中文大学、香港中文大学(深圳)、中国安防技术有限公司(英文简称CSST)成员企业智慧中国集团(Smart China)联合主办。高文院士在发言中表示:在现有的城市管理各应用子系统中,监控视频的数据占比相对较高,2010年约占50%,到2015年预计将接近70%,随着大数据的大幅增长,监控视频的比例会逐渐减少,但预计在2020年仍有可能达到40%以上,因此视频监控的数据处理这一问题,必须引起足够重视。
在巨大的市场需求推动下,高文院士与笔者公司经过多次交流探讨,以北京大学数字视频编解码技术国家工程实验室以及笔者公司为合作主体,双方建立战略合作伙伴关系,成立“北京大学-CSST智能视频技术协同创新中心”。该中心主要面向智能监控行业的发展需要,围绕智能视频技术开展前瞻性的研究开发工作,同时不断吸引国内外顶尖专家,组建一流的研发团队,承担国家重大科研任务,努力建成国内一流、国际具有重要影响的研发平台,以及具有重要国际影响的智能视频技术研究开发。
视频监控三大挑战
在本届论坛上,高文院士结合监控视频技术现状提出:智能视频监控面临的技术挑战主要可以集中体现为三大挑战,简要概括为“存不下”、“找不到”、“看不清”。“存不下”,即编码压缩的问题,“找不到”是有效搜索的问题,“看不清”则是视频质量问题,这三大挑战对于智能视频监控技术提出了更高的要求。
挑战一:视频编码技术
个挑战是关于视频编码技术的挑战。视频编码经过一段时期的快速发展,期间已经历了三代技术:代技术在1994年前后出现;第二代技术在2003年完成,至今仍在监控视频领域普遍应用;第三代技术在2013年初步完成,目前还暂未投入使用。按照10年一代的频率推测,预计将在2023年出现第四代视频编码技术。
事实上,视频编码技术的进步和数据增长的速度并不吻合,视频编码技术每十年革新一次,而与监控有关的大数据则是每年呈几何倍增长,依靠传统技术的进步,解决监控数据本身的增长量,显然远远不够。因此,需要从根本上解决视频数据的编码效率问题以及传输存储等相关问题,找到对于视频监控数据为行之有效的压缩方法。
视频编码有三个关键技术。其一是变换编码技术,即把实时信号放在频率上进行处理,使用数据工具进行编码压缩;其二是预测编码技术,即把同一帧里的共同点与不同帧里的相同点,通过预测找到共性的信息;其三是商业编码技术,也就是将信息商用商业编码进行表达,提高效率。视频编码技术实际上是三个技术的组合,具有理论上限,目前可以达到的成果离理论上限还有非常大的空间,所以从数学上来讲,这个领域大有可为。
变换编码、预测编码,商业编码这三个数据技术工具,对于视频编码应用领域的贡献有所不同。前两个变换,包括彩色空间和整体空间的变换,对于视频编码的贡献率为6倍左右。在视频编码技术前30年的发展期间,平均每10年性能提高一倍,主要贡献依靠的是预测编码每一代的技术提升。随着时间的推移和技术的成熟,将逐渐使用更复杂的算法取得编码效率的提高,主要体现在预测编码和商业编码,其中预测编码将起到很大的作用。
面向视频监控应用领域,则需要用更好的技术,即长时的、虚拟帧的参考技术。所谓长时,是当场景可以长时间使用时,即通过模型计算的方法生成虚拟帧,通过使用虚拟帧提高效率。在各类视频中,背景和前景的区分非常关键,静态的背景通过虚拟帧进行表达,动态的前景则使用精细编码进行表达。为了更好地确认静态背景,通过不断计算得出了一项新技术——基帧产生技术。基帧产生技术带来的的好处,是很容易进行任意图像序列的前景、背景的分离,前景和背景分离之后,会有效降低编码计算的复杂度,大幅提高编码效率和运动搜索效率。
挑战二:有效搜索
第二个挑战是有效搜索的问题。有效搜索包括以下几个问题:一是搜索对象能否检测到;二是检测到的对象能否进行跟踪;三是不同摄像机如何切换以持续跟踪搜索对象。其中前两个问题是一般搜索模式必须解决的技术问题,而多摄像机的网络跟踪,包括摄像机和摄像机之间的位置、朝向、时间切换点等等,将这些参数很好地结合在一起,还有很多需要研究解决的技术问题。
理想的搜索和跟踪状态,是把编码和分析技术融合在一起,集中在一个编码框架下,真正将视频监控融合到智慧城市运营管理中。为了达到这一目标,需要在技术上形成完整的描述,制订适合的语法,通过描述词和语法的组合,将具体的行为、事件描述出来,包括车辆是正常行进还是非正常行进,或人群集聚是正常行为还是非正常的行为等等,通过技术描述将其实现。
与此同时,在多个摄像机的切换,以及整个监测对象的转移等技术领域,需要持续不断地进行多项技术实验,终实现摄像头之间的有效切换与跟踪。
挑战三:摄像头质量
第三个挑战是摄像头的质量问题。目前大多数视频监控的摄像头质量达不到要求,严重影响了对图像的精确识别。提高摄像头质量,具有挑战性的两个问题是:摄像头进入方向的图像分辨率不够,以及图像的清晰度不够。造成这两个问题的原因是各种各样的,如光照等,而针对这两个问题的研究从未间断过。
提高摄像头的分辨率,并非短期内可以实现。目前监控系统所使用的摄像头大部分无法真正满足要求,而理想的4K摄像头数量极少,随着时间的推移,将现有的摄像头逐步替换为分辨率高的摄像头,是必然的发展趋势。除了硬件替换之外,另一个可行的解决办法,是通过后台技术弥补摄像头的质量问题,即通过不同的计算方法提高分辨率。除此之外,还有一个方法,就是把视频流里面多个照片一起使用,实现分辨率的有效提升。
总而言之,针对智能视频监控的三个技术挑战而言,包括编码的技术挑战,多摄像头搜索的技术挑战,以及现在的图像质量不够的技术挑战等,目前在进行很多的积极尝试,但现有的技术水平距离智慧城市对视频的质量和监控系统的要求,还存在一定的差距。当然,这个差距同时也预示着更多的机会,在智慧城市建设领域,中国会在很多地方达到,而视频监控领域也将有望达到水平。
因此,监控视频处理技术在智慧城市建设中的有效应用尤为重要。随着智慧城市建设的广泛推进,智慧城市视频监控技术将面临着一系列的挑战,对于企业而言,高文院士认为,拥有过硬的视频监控技术是应对各种挑战、分得智慧城市一杯羹的关键筹码之一。基于此,国内各大安防企业集团对智慧城市中的视频监控技术,纷纷作出了积极尝试。
结语
凭借高度的社会责任心和使命感,笔者公司始终将智慧城市智能视频监控技术作为重要的研发课题,不断在该领域进行有意义的探索和尝试,除了自主研发之外还与高文院士团队成立了联合研究中心,组建一流的研发团队,开展面向视频监控的前瞻性技术研究,将高文院士提出的视频监控处理技术与现有的各项智能技术不断的融合,并扩展到各种产品形态中,应用在视频监控的各个环节,形成完整的产业链配套,从产品、技术、解决方案、系统集成、运营服务等领域提供一站式服务,努力建成国内一流、国际具有重要影响的研发平台。