9454
2021年4月10日-12日，吴文俊人工智能科学技术奖十周年颁奖盛典暨2020中国人工智能产业年会在北京和苏州同期圆满成功举办。马楠，博士、中国人工智能学会副秘书长、北京联合大学机器人学院副院长、教授、北京市中青年骨干教师。马楠受邀在苏州工业园区希尔顿酒店，2020中国人工智能产业年会—智能驾驶与车联网专题论坛上发表主题报告《智能交互技术及在无人驾驶中的应用》。
尊敬的各位专家：大家好！首先感谢2020中国人工智能产业年会的邀请，感谢智能驾驶与车联网专题论坛邀请，感谢朱西产教授和董振江会长，今天很荣幸在这里与专家、老师和同行们分享团队过去几年来在无人驾驶智能交互方面的研究进展。我和我校无人车智能交互团队的老师们长期以来就无人驾驶如何能够更理解人的意图，如何能够和周边的环境进行更好的交互开展系列研究。
团队先后承担了国家自然科学基金以及北京市自然科学基金，还有来自北汽等企业的项目课题，并且项目“无人驾驶智能交互技术与应用”在2020年获得了中国电子学会科学技术奖[技术发明类]二等奖，围绕着无人驾驶智能交互关键技术的研究多次在国内无人驾驶赛事中获得冠军、亚军。基于此团队一直致力于产业化无人驾驶智能交互技术的应用落地。
早在第二届世界智能大会上对智能汽车产业商业模式，关键载体，核心技术，评价体系，L4商用等几方面已做引领发布。在过去这几年大家看到无人驾驶、智能网联技术在飞速发展。那么如何让车能够更理解人的意图，这是我们长期聚焦的重要核心问题。
团队从2013年开始围绕着智能交互技术进行研究，2015年参加了郑开大道测试，在宇通iBUS上开发部署无人驾驶智能交互系统，包括车载语音智能交互等服务，并且先后与相关的企业合作，将其落地于城市园区等一系列应用场景。
今天我向各位专家分享三部分内容：1、无人驾驶智能交互技术研究意义。2、人车路协同环境的自然语言交互。3、无人驾驶中的肢体语言交互。最后向各位专家们展示智能交互技术应用于人才培养的案例。
无人驾驶智能交互研究意义
智能交互，我们通过媒体感知、机器学习和认知计算等技术，构建与实体世界统一的智能表达与学习方法，从而增强机器的智能化呈现，促进人机融合。针对无人驾驶智能交互的挑战，我们研究了数据与应用统一的交互架构。如果说交互是人类社会形成共同认知的基础，智能交互就是人机行为协同的重要保障。
在去年国家几部委发布的《智能汽车创新发展战略》中明确指出突破关键基础技术，要开展复杂系统体系架构、复杂环境感知、智能决策控制、人机交互及人机共驾、车路交互等基础前瞻技术研发。智能交互是无人驾驶的关键技术，我们要解决感知源多、数据异构、控制通信架构不统一、语义多样和驾驶环境复杂等问题。
智能汽车是实施《中国制造2025》和国务院印发的“新一代人工智能发展规划”战略的重要支撑。播放一小段视频，大家可以看到，人车路协同环境为智能驾驶及车联网提供重要保障，那么人车之间、车辆之间、车辆与不同地方的路侧设备之间的智能交互尤为重要。
众多企业都已成功实现无人驾驶商业化落地，在无人驾驶过程中车道跟踪，车辆的流量监控，变换车道，车道线保持等技术都已经得到了广泛的应用。无人驾驶车在行驶过程中是否对我们人的行为清楚？是否对我们的决策理解？并且人车形成了协同一致，这些都是我们要讨论的问题。所以我们让无人驾驶车要更懂得人情世故，能交互，会学习，可信任。人工智能是无人驾驶的技术核心，那么自主驾驶+智能交互将未来汽车成为可交互的轮式机器人。
人车路协同环境的自然语言交互
团队自2016年和北汽集团等合作，先后在顺义水上公园和北京汽车集团蓝谷新能源基地建立了基于云端数据管理的无人驾驶智能交互系统，并且于2018年在北京国际车展期间进行发布。
这套系统实现了车辆的运营监控，数据采集，车辆运营状态的管理以及路侧标志物的信息采集，通过中央智能交互的监控系统来实现整个车辆在园区的行驶监控。
此系统在福田图雅诺，欧马可，新能源LITE等车辆上进行了应用。车辆在保证系列指标安全方可顺利出库接送乘客，我们采集了导航数据，定位数据，图像数据，雷达数据和决策数据，通过车辆的中间层进行数据归一化处理，并且通过前端智能中控大屏系统以及交互终端等多个平台进行信息呈现。
团队在2019年第三届世界智能大会（天津）与驭道无人驾驶公司进行合作，开发了无人驾驶智能网约ROBOTAXI服务。这里向各位专家展示的是基于园区智能交互的中控系统，目前初步实现系统化，包括中控交互大屏以及车内智能语音交互控制，网约无人车等功能模块的一系列平台架构。
无人驾驶中的肢体语言交互
团队近年来对人车之间的交互进行了深入研究，主要是多视图像动作识别的交互认知、启发式学习的连续动态手势识别核心技术和基于特征提取的人体姿态和手势识别，并且将其应用于智能机器人对动作、手势的识别。
我们提出了基于多视角手势识别的方法和基于模糊认知图前向引导的多视数据目标关联建模对象识别方法。针对多视角数据的获取，数据特征的抽取以及数据分类进行研究，主要解决复杂，不确定，遮挡环境下对图像的精准识别。
我们在多视图像潜在目标区域检测方面，首先实现基于单一图像的潜在目标区域检测，进而实现多视图层级的目标区域检测，从而构建联合的提取过程。为了更好地实现多视图像动作识别，我们采集了行人动作的数据集，针对于不同的光照强度、天气、人员以及不同的手势，在三种不同的距离方面我们进行了多视角的数据采集，一共采集了7万多张图片来形成数据集的训练。
基于此采用了多视图信息融合的行人检测方法，将多视角信息融合模块进行特征提取和匹配，针对于多视行人的动作检测，骨架特征的提取非常重要。应用多视数据进行目标的紧致刻画，并且充分利用多视数据间的耦合关联，研究基于多视数据关联的骨架联合提取方法，进行骨架数据提取，将这些数据从时间维度和空间维度进行改进，主要是应用选择性注意机制进行特征的检测。
我们针对基于多视的行人动作检测进行了深入研究，针对动态复杂环境下高动态，强对抗，不确定任务的需求，设计手势识别人机交互技术来应对不同复杂任务，实现了一套人机交互的控制指令平台。
在这里可以看到我们针对21种手势进行了实时的测试，这个实时的测试包括搜索、侦查、收到、跟随等等，在指定数据集、静态环境之中达到91%以上识别率。手势识别是在0.5秒以下，力求保证它的实时性。我们在复杂动态环境下形成了一系列序列的连续动作手势识别的技术研究，从而让机器和人能够更好的进行交互。
针对于交通场景，团队的师生还开展基于特征提取的人体姿态和手势识别研究，围绕着开源数据集和中国交警手势数据集，团队师生尝试在动态环境下让无人车快速的识别交警的基本手势。我们看到图中有八种最基本的动态手势，基于此我们提出了一种基于时空卷积神经网络的人体关节点图像特征提取的交警手势识别检测方法，力求解决交警手势在复杂交通场景下的检测效果欠佳和时效性欠佳的问题，并且通过时空卷积神经网络用于学习目标侯选区域的特征，充分捕捉视频中侯选区域的时间特征和空间特征，用来快速检测交通场景的既定任务。
基于上述研究内容，团队师生将研究成果应用于行人检测、前方车辆识别、车道线的检测以及激光雷达障碍物的检测技术，在几次世界智能驾驶挑战赛都取得单项赛冠军的好成绩。图中是2020年世界智能驾驶挑战赛参加的行人避障赛项、大曲率道路赛项和高速公路自动驾驶赛项。比赛中我们采用的技术不仅涉及感知交互，行为交互，还要将感知层数据和决策控制有效对接，最后在仿真平台上输出准确的决策信息。
基于团队研究的内容和企业进行合作，并且努力进行产业化落地，在这里也非常感谢，也期望能够得到咱们与会专家、以及企业人士的支持。
比如我们与北汽合作的基于云端数据管理的无人驾驶、智能交互中控系统、无人驾驶车内智能交互系统，以及去年天津世界智能大会上，团队在天津大学智能公交车辆上开发了无人驾驶智能交互控制系统，能够把我们智能公交实时的数据进行语音播报；还有无人驾驶拖拉机的智能交互系统，我们开发了在2015年郑州到开封无人驾驶测试中宇通无人驾驶客车上的智能交互系统，实现了基于语音交互控制车辆加减速，并保证在每小时20公里的变速范围之内。
在无人驾驶领域，智能交互团队长期致力于科学研究。近年来，我们也在实践，如何把我们的项目案例变成人才培养的教材内容以及教学案例。从2018年团队编写了《智能交互技术与应用》产教协同教材，详细讲解了人和机器之间的交互应该像人和人之间交互一样是无处不在的，书中设计了多个智能交互的实验案例，未来可扩展应用到智能机器人、无人车上。
基于此我们在中国大学MOOC开设了《智能交互技术》在线课程，现在累计1.1万余人进行了在线选课，也真诚的请各位专家们可以对咱们这门在线课程进行指导。我们通过在线课程与学生互动，随时获得学生在线反馈并且了解学生的参与情况。
第三个成果在人才培养方面，我们与企业产学合作，建立了轮式机器人智能交互实践教学平台，实现了基于嵌入式模块的轮式机器人智能交互控制，包括车辆车窗、车门、刹车、后备箱等智能语音交互和交互控制。
还有目标检测与定位、手势识别以及智能语音的交互都可以在这个小车上进行实现。
围绕这些教具，我们正在将无人驾驶智能交互项目设计成教学案例，这秉承了李德毅院士提出的“科学任务带动人才培养”理念，我们努力让更多的同学们在工程实践中提高专业素质和能力。
团队最近一直致力于能够把科研任务转变成集教材、教具、教学案例和在线课程于一体的人才培养模式的落地，也先后授权相关的专利和软件著作权。围绕着交互认知，智能交互技术，先后在中国科学：信息科学和国内外期刊、国际会议上发表相关文章。
最后再次感谢组委会的邀请，感谢国家自然科学基金委和北京市自然科学基金委对智能交互团队的支持，感谢各位专家长期以来一直的指导和支持，感谢我的合作伙伴清华大学高跃老师以及智能交互团队师生们对报告资料的整理。
