多传感器视频融合关键技术及其应用

　　专家简介

　　张强，1979年2月出生，山东枣庄人，教授，博士研究生导师，西安电子科技大学自动控制系主任，智能技术创新团队负责人;IEEE会员、中国系统仿真学会会员、中国系统仿真学会智能物联网系统建模与仿真专业委员会委员;2001年、2004年、2008年在西安电子科技大学自动控制、模式识别与智能系统、电路与系统专业分别获学士、硕士、博士学位;2004年3月硕士毕业留校任教，2006年、2009年、2016年分别晋升讲师、副教授和教授职称;2014年5月至2015年4月，在加拿大麦吉尔大学做访问学者一年;主要研究方向包括智能图像处理、机器学习与计算机视觉;在《IEEE Transactions on Image Processing》、《IEEE Transactions on Circuits and Systems for Video Technology》、《Pattern Recognition》、《Information Fusion》、《Computer Vision and Image Understanding》、《Image and Vision Computing》、《Journal of Visual Communication and Image Representation》、《红外与毫米波学报》、《自动化学报》、《光学学报》等国内外期刊发表多传感器图像融合、图像显著性目标检测等相关论文30余篇，SCI检索20多篇，单篇最高SCI他引134次，ESI高被引论文1篇，申请国家发明专利20余项(已获授权14项);相应研究成果在多传感器视频监控、安全监测、军事、医学、机器视觉等领域有着很好的应用前景。

　　项目简介

　　随着传感器技术不断发展，越来越多不同类型的图像传感器(如可见光、红外图像传感器)应用于军事国防、医疗诊断、视频监控等领域中。如何有效利用各传感器获取的图像信息，已成为当前多传感器信息处理领域所面临的、迫切需要解决的关键性技术问题。作为多传感器信息融合领域重要分支，图像融合可以为上述多传感器图像信息处理提供有效的途径。然而，目前该研究主要针对静态图像融合，而对视频融合的研究较少。本项目围绕多模态视频融合进行了深入研究，针对多模态图像/视频融合中有关时空配准、融合策略及性能客观评价等关键技术，形成了一系列具有自主知识产权的创新性成果。主要技术发明如下：

　　1. 发明了一种基于3维不可分多尺度变换的多传感器视频融合框架，提出了多种基于时空显著性区域检测的融合策略，突破了视频融合中时空信息多尺度几何表征及提取、时空信息一致性和稳定性等关键技术;

　　2. 发明了多种基于人眼视觉系统感知特性的视频融合性能客观评价方法，构建了多种基于时空相位一致性、时空显著性检测和结构相似度的视频融合性能客观评价因子，解决了多传感器视频融合性能有关时空信息提取及一致性客观评价关键技术;

　　3. 发明了一种基于低秩张量分析的视频融合技术和视频融合性能客观评价方法，利用视频数据在时空方向上的强相关特性，提出了一种基于张量高阶奇异值分解的视频背景图像建模、运动目标提取和噪声估计方法，有效解决了现有视频融合及融合性能客观评价技术中存在的运算复杂度高、存储空间需求量大等问题;

　　4. 发明了多种基于区域匹配和点匹配相结合、最大稳定极值区域和相位一致性相结合、变换不变低秩纹理的多传感器图像匹配方法，发明了一种基于空间射影不变表示和对极几何联合约束的视频同步方法，实现了光照变化、模糊和JPEG压缩等环境下大视角差、仿射变换或射影变换多传感器视频之间的时空配准;

　　5. 发明了一种基于复方向塔式变换的多模态图像融合方法，提出了一种基于复方向塔式变换系数幅值和相位联合信息的相似度测量准则，并在此基础上构建了一种基于相似度测量的多模态图像融合策略，突破了多模态图像之间“冗余”与“互补”信息表征与提取关键技术。

　　上述成果内容共申请国家发明专利20项，其中新获授权专利12项，部分技术已经成功应用于多家企业，产生了显著的经济和社会效益。在《IEEE Transactions on Image Processing》、《IEEE Transactions on Circuits and Systems for Video Technology》《Information Fusion》、《Computer Vision and Image Understanding》、《红外与毫米波学报》、《自动化学报》等国内外期刊发表论文20余篇，单篇最高SCI他引134次，并入选2015年ESI高被引论文。相关研究成果得到了IEEE、OSA以及SPIE Fellow、美国德克萨斯大学奥斯汀分校Alan C. Bovik教授，加拿大皇家科学院院士、国家工程院院士、国家工程研究院院士、IEEE Fellow、加拿大哥伦比亚大学Rabab K. Ward教授，澳大利亚技术科学与工程院院士、IEEE Fellow、澳大利亚悉尼大学冯大淦教授，中国工程院院士、北京航天航空大学张军教授，中国工程院士、清华大学戴琼海教授等多位国际著名学者高度关注和评价。

　　团队简介

　　西安电子科技大学“智能技术创新团队”目前共有教职工10名，其中，教授2名，副教授3名，博士生导师4名，“长江学者”特聘教授1名，陕西省“百人计划”1名,在读博士、硕士研究生30余名。主要研究方向包括多智能体系统的分析与控制、复杂网络上的演化博弈、智能图像信息处理等。智能图像处理课题组主要围绕着弱、半、无监督等机器学习算法进行深入研究，在图像理解、视频分析、多媒体内容识别、图像检索、多模态图像处理等方向积累了丰富的研究经验。近五年，团队在PAMI、IJCV、TNNLS、TCYB、TIP、TCSVT等国际权威期刊及CVPR、IJCAI、AAAI等 CCF A类国际会议上发表学术论文100余篇，其中，中科院1区论文近20篇，15篇论文入选ESI高被引论文，6篇文章入选ESI热点论文， SCI他引累计近500次;Google引用率超过4000余次;获得国家自然科学二等奖1项，教育部高等学校科学研究优秀成果奖自然科学奖一等奖1项，陕西高等学校科学技术奖二等奖1项;获国家发明专利授权30余项。

　　此外，本团队还与美国哈佛大学、加州大学、加拿大麦吉尔大学、英国兰卡斯特大学、澳大利亚国立大学、新加坡南洋理工大学等国外知名高校以及香港大学、香港理工大学等高校有着密切的科研合作。