可穿戴移动终端的多感官人机交互技术

文/傅耀威 孟宪佳 王涌天
（科技部高技术研究发展中心 西北大学 北京理工大学）
人机交互技术是可穿戴移动终端系统及相关应用的核心技术，也是近年来国内外的研究热点。可穿戴移动终端在军事、工业、医疗、航天航空、体育教育等领域有着广泛的应用前景，近年来涌现了大量可穿戴移动计算中的人机交互理论、技术、应用研究，为推进计算系统小型化、普适化、智能化起到了巨大的作用。本文主要对可穿戴移动终端的多感官人机交互技术发展现状和趋势进行了梳理分析，并提出了有关对策建议。
一、关于可穿戴移动终端的多感官人机交互技术
人机交互是一门对人类使用的交互式计算系统进行设计、评估和实现，并对其所涉及的主要现象进行研究的学科。自然人机交互利用先进的传感器技术捕捉和感知人类丰富的动作、行为以及生理变化，利用先进的计算技术理解人的交互意图,并提供符合认知的反馈呈现，从而使人们能更方便地利用信息。其中受到最多关注的技术有：
1. 增强现实技术
借助光电显示技术、交互技术和计算机图形与多媒体技术，将计算机生成的虚拟环境与用户周围的现实环境融为一体，因此要求其跟踪定位算法具有实时、鲁棒和精确的特点。近年来，以视觉为基础的同时定位与地图构建技术成为国内外学者的研究热点。
2. 力觉与触觉反馈
力觉反馈强调虚拟模型之间交互而产生的力，如：碰撞力、重力等；触觉反馈则强调人对虚拟模型各种表面属性，如：硬度、粗糙度、接触、滑动和挤压等的感知。力觉和触觉反馈同时存在于人的日常交互行为中，二者均是由力反馈设备输出反馈力，通过人的表皮神经末梢将反馈力传输到大脑后被人感知的。
3. 头盔显示器
头盔显示器是一种佩戴在用户头部，通过光学系统为用户提供可视文本、图像或视频的显示装置。随着设计和加工工艺的不断改进，光学系统的尺寸、重量不断下降，头盔显示器已不再需要像头盔一样戴在头上，逐步向着类似眼镜的佩戴方式发展。
4. 手势识别
指利用特定的设备，通过传感器获得手部姿态、位置以及动作信息，借由手势识别算法对手势进行识别,并完成对应的指令。根据不同的设备类型，手势识别可分为基于视觉的手势识别与基于数据手套的手势识别；根据用户手势的不同，可分为动态手势识别与静态手势识别。
5. 自然语音识别与生成技术
通过采集、识别用户的语音，进行语音特征的分析、自然语言的识别，以及用户情感和意图的理解，同时进行拟人化的语音生成和情感再现。
6. 生理计算
作为一种新型人机交互技术，生理计算已逐渐成为产业界关注的热点。在这种计算模式下，用户无需主动地执行交互任务，通过穿戴式生理传感设备,实时分析用户的生理信号，并对用户做出反馈。脑机接口做为生理计算技术中的一个关键点，通过外接或植入式的方式,来采集和分析人或动物的大脑信号进行交互。
二、世界发展现状与趋势
1. 发展现状
国际上，美国麻省理工学院媒体实验室，在可穿戴计算技术和人机交互技术研究方面一直站在最前沿。谷歌、微软等公司也在手势交互、交互设计开发工具、交互意图理解、智能眼镜方面处于世界领先地位。其它高校、机构及企业，包括斯坦福大学、多伦多大学、IBM公司在面向可穿戴终端的人机交互技术中的部分成果，处于国际领先地位。
在过去的近20年中，研究者们已提出多个解决增强现实技术中的同时定位与地图构建问题的经典系统。随着GPU处理器和深度相机的出现和普及，同时定位与地图构建系统呈现出由稀疏地图构建，向稠密或半稠密地图构建的发展方向。此外，同时定位与地图构建问题的研究，逐渐向移动端进行移植和应用。基于同时定位与地图构建技术开发的代表性产品有微软的Hololens和谷歌的Project Tango。
2001年法国学者Robles-De-La-Torre等在Nature上发表的论文，为可穿戴移动终端实现裸指触觉再现，提供了重要的理论依据。近年来，美国、芬兰、日本等国家都验证了多媒体终端裸指触觉再现的可行性。目前，触觉再现渲染方法研究主要集中在机械力触觉再现设备上，触觉交互界面研究刚刚起步，触觉交互装置的能力还未得到充分发挥，多媒体触觉交互界面范式与开发工具尚未形成，人类的触觉感知特性仍然没有完全被获知，尚未形成定量化、可标准化的度量方法。
头盔显示器自1966年问世以来，首先在军事上发挥着重要角色，如美国Honeywell公司IHADSS头盔显示器。近几年，面向消费市场的民用头盔显示技术逐步发展起来，出现了很多商业化的产品，如2013年Oculus VR公司推出的Oculus Rift，具有高分辨率、大视场角、轻质量的特点。在透视式显示方面，微软公司在2015年发布了Hololens，具有良好的显示性能，可以准确地实时跟踪用户的头部运动，提供即时的交互体验。
近年来使用机器学习进行手势识别和分类的方法，成为主流解决方案，如2014年微软研究院Krupka等提出了判别式蕨类分类器，在深度图像和红外图像上实现了手势的快速准确分类。但是目前的算法大多仅能应用于室内的桌面型应用，同时训练速度较慢，目前尚未出现针对可穿戴增强现实应用的实时手势识别方法。
在自然语言识别方面，目前国际上也启动了多个研究项目，如美国IBM公司长期经营的“Watson”计算机系统项目，日本的“Todai机器人”项目，DARPA的“大机制（Big Mechanism）”研究项目。
近年来，生理计算已逐渐引起学术界和产业界的共同关注。ACM SIGCHI年会在2010和2011年，分别举办了关于生理计算的研讨会。国际上许多著名的大学和研究机构，目前也逐步在开展生理计算方面的研究。生理信号的采集已逐渐从传统传感器采集向纳米织物采集过渡，即通过设计新型纳米材料，在长期舒适的穿戴中智能化地采集心电、肌电等生理信号。
2. 发展趋势与重点
作为今后的计算平台接口和终端技术，多感官可穿戴移动终端有望取代手机，成为人们与信息世界交流的主要通道，提供前所未有的虚拟存在感和接近真实的虚拟社交，能够更直接地影响使用者的文化接纳、观念接纳和意识形态接纳，并可很快成为思想理念赖以传播的主要途径，这将造就巨大的消费品市场、推动人类生存方式演化的进程，并有力推动经济发展。
经过多年的发展，虽然面向可穿戴移动终端的多感官人机交互的基本概念和基本实现方法已经初步形成，并取得了很多较好的应用成果，但仍面临很多基本的理论与技术挑战，具体包括：
一是如何提高计算单元的运算性能问题。计算单元的运算性能，决定了多感官可穿戴设备的参数是否能“达标”，是否可以提供所需要的计算量。为了流畅地运行一个多感官交互应用，需要一台配置比较高的电脑才能满足要求，这就会限制了用户的行动。因此提高计算单元的运算性能，并且能够保持一定的移动性和较低的价格是行业面临的一个重要的问题。
二是如何进一步提高信息传输速度。借助无线局域网络有望解决高运算性能和移动性之间的矛盾，然而目前的无线局域网络的数据传输速率尚难以满足连接头盔显示器和计算单元的要求。为了避免延迟、卡顿等问题，传输过程需要较大的网络带宽，这也为未来的5G网络提供了一个巨大的应用市场。
三、我国发展现状与水平
在自然人机交互技术方面，国内中科院软件所、北京理工大学、清华大学、北京航空航天大学等学术单位，联想、华为、中兴、鸿合等著名公司也在开展这方面的研究工作。虽然自然人机交互的研究已经具备了一定的基础，但在多源信息获取、感知、认知等方面的核心技术还有待突破，亟需突破关键技术，形成交互设备和软件工具，并面向教育、办公、医疗等领域构建主流应用，推动我国在人机交互领域的研究和应用达到国际先进水平。
在面向可穿戴终端的人机交互技术方面，中科院软件研究所、北京理工大学在手势交互、头戴式混合现实交互研究中非常突出，同时也针对脑机接口做了突出工作。清华大学在手表、基于皮肤的交互感知、眼镜、脑机接口、基于呼吸的交互通道等方面取得了较好的科研成果。此外，国内的其他高校、机构，包括北京航空航天大学、中国科技大学、中国科学院计算技术研究所等，在面向可穿戴终端的人机交互技术中，也产生了非常出色的成果。
在基于视觉的同时定位与地图构建方面，我国代表性的研究工作包括浙江大学于2013年提出的针对动态场景的跟踪和地图重建。但总体来看，我国相关的研究成果较少，大多数是在国外的技术研究上面加以改进，缺少理论上的突破与创新。相比于国外，我国的同时定位与地图构建研究发展较为落后，需进一步加强科技投入，提升基础研究能力。
在力触觉交互领域的研究单位包括吉林大学、北京理工大学、北京航空航天大学、东南大学等。其中，吉林大学专注于多媒体终端触觉再现机理与装置，北京理工大学主要研究三维视觉对象的触觉交互与可信评测，北京航空航天大学主要研究力触觉生成方法和力触觉反馈度量等。从整体上讲，仍不够系统深入，国际学术影响力还比较弱，无法满足多媒体终端产业对基础科学研究成果的需求。
在头盔显示器的研究方面，国内院校如北京理工大学、浙江大学、中科院长春光机所等，都对头盔显示器进行了研究，取得了较好的成绩。中科院长春光机所设计完成了离轴双自由曲面头盔显示系统；北京理工大学设计研制了基于自由曲面棱镜的光学透射式头戴显示设备，达到了国际领先水平。
基于视觉的手势识别技术仍处于实验室开发阶段，实际产品较少，且功能较为单一，无法满足使用者的需求。国内院校如清华大学、中国科学技术大学、哈尔滨工业大学等都提出了自己的算法。在基于视觉的手势识别中，静态手势识别的研究较为成熟，而动态手势的识别还面临着许多困难，尤其是对复杂背景的适应方面，以及快速运动物体检测方面，识别率无法达到满意的要求。
从海量信息中理解语音及交互意图是人机交互的重要环节。国内浙大、中科院自动化所、百度、科大讯飞等在该领域取得了很大进展。
在生理计算和脑机接口方面，国内浙江大学、华南理工大学、清华大学、北京理工大学、中国科学院等单位也在进行许多有益的探索工作。研究如何将心理生理学理论应用到实际系统中；设计生理信号处理算法，包括噪声处理、信号提取、识别分类等。
四、我国进一步发展对策与建议
军事、安全、航天、航空、工业、交通、医疗、科研、文化、教育等国家重点领域，都对面向可穿戴移动终端的多感官人机交互技术有着重大战略需求，我国政府需要从战略布局上着力推动相关研究和应用，具体对策如下：
1. 加强前沿研究。在国内已有的技术储备基础上，加强对相关前沿技术的支持，在现有框架下，加大对面向可穿戴移动终端的多感官人机交互研究的支持，研究新型交互技术、媒体资源管理技术，开发低成本、高性能的普适型设备，培养一批专业人才，制订相关技术标准，提高核心设备与技术的本土化水平。
2. 促进产学研协作。建议探讨产学研用一体化发展的创新机制，打造产学研用链条，消除科技创新中的“孤岛现象”，探索新兴创新模式，通过产学研用相结合的模式，实现优势资源互补，形成互惠互利的产业生态体系，将核心技术真正转化为可用的服务平台和系统，有效推进产业的发展。
3. 发挥跨领域研究的优势。通过跨行业的协会组织形式，围绕医学、工业、国防、文化、教育等领域的重大问题，如人体及人脑计划、单兵信息系统、智慧博物馆、交互式媒体等为切入点，组织应用领域、技术研究、艺术设计等多个方面的跨学科研究队伍，推动交叉研究，利用普适型交互所提供的新方法和新手段，为应用行业的技术发展注入活力。
4. 促进应用。积极预测多感官交互技术在未来大众日常生活中的应用模式，探讨其与信息技术领域中互联网、移动通讯、大数据、云计算、智慧城市等方向深度融合的方式，与国内优势企业合作建立新一代网络平台，实现技术应用，促进相关产业的快速发展，在国际信息领域的变革中抢占先机。

【注】本报告为科技创新战略研究专项项目“重点科技领域发展热点跟踪研究”(编号：ZLY2015072）成果之一。

本文特约编辑：姜念云