北理工团队创建面向多任务操控的脑机协同控制方法并应用于智能车辆

近日，北京理工大学机械与车辆学院毕路拯教授团队首创面向多任务操控的脑机协同控制方法，并将该方法应用于智能车辆。研究成果以“Multitask-Oriented Brain-Controlled Intelligent Vehicle Based on Human-Machine Intelligence Integration”为题，被国际顶级期刊《IEEE Transactions on Systems, Man, and Cybernetics: Systems》录取。论文第一作者为其团队博士研究生王佳蓉。

为了推进脑机接口和脑控机器迈向真实的应用场景，北京理工大学毕路拯教授团队一直致力于自然场景下的脑机接口、脑机混合智能和脑机协同控制的理论、方法和应用研究。在脑机协同控制方面，该团队首创的脑控多域多任务机器人系统曾作为脑机接口领域创新成果在2022年世界机器人大赛现场进行展示，参考《北理工智能人机系统团队研发“脑控”机器人 应用于城市反恐防暴--2022世界机器人大赛》。此外，该团队所创建的脑机协同控制框架以及在脑控智能车辆上的应用研究曾发表于国际顶级期刊《IEEE Transactions on Intelligent Transportation Systems》，参考《北理工研究团队在脑机协同控制技术与脑控智能车辆方面取得重要进展》，所提出的基于鲁棒非线性模型预测的脑机协同控制方法以及在脑控移动机器人上的应用研究曾发表于国际顶级期刊《IEEE Transactions on Cybernetics》，参考《北理工研究团队在脑-控移动机器人上取得重要进展》。在脑机接口方面，该团队关于不同注意力状态下运动意图的鲁棒神经解码研究曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《北理工团队在不同注意力状态下肢体运动意图的鲁棒神经解码方面取得重要研究进展》，该论文也获得2022世界机器人大赛-BCI脑控机器人大赛一青年论文比赛一等奖（唯一），关于考虑注意状态的运动意图分层解码模型曾发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队在推动运动意图神经解码走向真实应用场景方面取得研究进展》，关于单手和双手协同运动的神经解码成果曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《如何对单手和双手协同运动方向进行神经表征和解码？北理工研究团队给出了相关方案》，关于基于非侵入式神经信号的连续运动解码成果曾发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队在基于非侵入式神经信号的连续运动解码方面取得新进展》。

DOI (identifier) 10.1109/TSMC.2022.3212744

研究背景及主要内容

在过去的几十年里，人工智能取得了一系列的进步，促使智能车辆技术越来越成熟。然而，由于人工智能在处理复杂任务和不确定环境方面的局限性，在某些情况下，人控制(包括远程控制)车辆仍然是必不可少的。

近年来，随着神经科学和机器学习的发展，脑控智能车(brain-controlled intelligent vehicles, BCIVs)的研究已经发展成为智能车研究的一个新的分支。从广义的角度来看，脑控智能车指的是利用脑机接口(BCI)，通过从大脑信号中解码人的意图，进而帮助使用者操作(包括远程操作)智能车。脑控智能车对残疾人和健康的操作员都具有很强的实用价值。对于残障人士来说，脑控智能车不仅可以作为一种增强他们行动能力的手段，来帮助他们移动一些目标，而且可能有助于通过让他们积极参与来重建自尊、恢复大脑功能。对于健康人来说，脑控智能车通过将人类智能与机器智能相结合，有助于提高系统的安全性和系统性能。

根据脑控智能车的功能，脑控智能车可分为基于伺服控制的脑控智能车、基于任务级别的脑控智能车和基于驾驶员状态检测的脑控智能车三大类。首先，基于伺服控制的脑控智能车是指通过将大脑信号转换为车辆运动的控制命令(如加速、减速、左转、右转)来驱动的脑控智能车。其次，基于任务级别的脑控智能车是通过先将驾驶员的大脑信号解码为所需的任务(如目的地选择)，然后使用智能导航系统完成所需的驾驶任务。最后，基于驾驶员状态检测的脑控智能车是指能够实时监测驾驶员的状态(如驾驶意图、疲劳、注意力分散、情绪等)，并将驾驶员的状态集成到智能控制系统中，对车辆状态进行相应调整或对驾驶员进行预警的脑控智能车。在过去的十几年里，我们团队在脑控智能车以上的三个方面里都做了大量探索性工作，并取得了一系列研究成果，在国际领域处于领先地位，相应成果陆续发表在IEEE TITS、IEEE TNSRE、IEEE TCYB等国际顶级期刊。

尽管已有大量工作致力于脑控智能车的探索，但回顾现有研究，我们发现所有现有的脑控智能车研究都局限于单一任务场景，即部分残疾人仅使用BCI或部分健康人同时使用肢体和BCI来执行一项任务。而考虑到健康人群在驾驶车辆或远程控制车辆时执行多任务的情况很常见，为了进一步推进脑控智能车在健康人群中的应用，本文向面向多任务的脑控智能车的研究迈出了第一步。

本研究的贡献在于首次研究了面向多任务的脑控制系统，并将一种新颖的驾驶员-辅助任务意图神经解码方法与自适应脑机协同控制器相结合，首次设计了面向多任务的脑控智能车。我们搭建了所提出的面向多任务的脑控智能车实验平台，并通过人在环内的在线实验对所提出的脑控智能车进行了验证。这项工作对于将脑控系统的探索推向多任务场景具有重要的价值，并为认知神经科学应用于智能系统和人机集成开辟了新的途径。

图1系统架构

图2 本研究所搭建的实验平台

研究结果

图1所示为所提出的面向多任务的脑控智能车的系统架构，包括脑-车接口和自适应脑机协同控制器。脑-车接口由用户界面和神经信号解码模块组成。神经信号解码模块包括脑电图信号采集与预处理、特征提取和解码模型。用户可以应用该面向多任务的脑控智能车系统同时执行两个操作任务。对于主要任务，用户可以用四肢驾驶车辆。对于辅助任务，用户可以使用脑-车接口来传递任务命令。此外，利用自适应脑机协同控制器将驾驶命令输出到车辆，通过整合周围环境、车辆状态信息和神经解码结果，提高驾驶安全性。

本论文通过在线测试验证了所提出的面向多任务的脑控车辆系统的有效性。在线测试性能通过脑-车接口执行辅助任务性能以及驾驶主任务性能两方面进行了评价。

单一驾驶和面向多任务驾驶条件下的平均驾驶侧向误差分别为0.43 m±0.09 m和0.47 m±0.08 m，两种工况下的最大驾驶侧向误差分别为2.47 m±0.22 m和2.67 m±0.23 m，两种驾驶任务下的结果均无统计学差异。

表1 单任务和多任务驾驶条件下的驾驶侧向误差比较

图3 单任务与多任务驾驶条件下的驾驶误差曲线对比

表2对比了采用本文提出的自适应脑机协同控制器、采用无自适应控制器以及无控制器三种条件下的驾驶性能。有自适应脑机协同控制器、无自适应策略控制器和无控制器的多任务条件下的驾驶实验的平均侧向误差分别为0.64±0.15 m、0.78±0.19 m和0.93±0.25 m，最大侧向误差分别为3.47±0.32 m、3.82±0.29 m和4.52±1.00 m。可见，本论文提出的自适应脑机协同控制器在提高多任务条件下驾驶性能方面的有效性。

表2 不同控制器条件下的侧向误差比较

研究贡献及前景

本研究首次将现有的脑控智能车研究扩展到面向多任务的操作(或远程操作)。将一种新的驾驶员-辅助任务意图神经解码方法与自适应脑机协同控制器相结合，提出了一种面向多任务的脑控智能车系统。本研究搭建了该系统的实验平台，并通过人-硬件在环内的在线实验对其进行了验证。实验结果表明，所提出的面向多任务的脑控智能车系统性能良好。本研究对于将脑控制系统的探索推向多任务操作的新阶段具有重要价值，为认知神经科学应用于智能系统和人机集成开辟了新的途径。

团队与作者简介

北京理工大学智能人机系统团队隶属于北京理工大学机械与车辆学院机电系统与装备研究所。团队由4名教师和30余名博士后、博士和硕士研究生组成，负责人为毕路拯教授。团队主要研究方向包括脑机接口与脑控智能机器、多机器人协同与多模态智能感知、无人机探测技术、以及人机智能交互与智能辅助驾驶。近几年，团队主持省部级以上项目10余项。团队在国际权威期刊IEEE TCYB, TBME, TITS, TSMCS, TNSRE和THMS等发表论文100余篇（含IEEE Trans 26篇）。获授权国家发明专利25项。获教育部自然科学奖二等奖1项，中国电子学会科技进步二等奖1项。获得2022年世界机器人大会-BCI脑控机器人大赛-青年论文比赛一等奖（唯一）。获首届“京彩大创”北京大学生创新创业总决赛季军、一等奖和第八届中国国际“互联网+”大学生创新创业大赛北京赛区一等奖。

毕路拯教授简介

毕路拯现为北京理工大学机械与车辆学院教授、博士生导师、机电系统与装备研究所所长。他先后在美国University of Michigan, AnnArbor和新加坡南洋理工大学作过访问学者。他是IEEE高级会员、担任复杂系统建模与仿真（英文版）、IEEE/ASME AIM, ACC, ASME DSCC等的AE，Frontiers in Neurorobotics (SCI)客座AE。他是国家自然基金重点项目、装备发展部某重大项目、科技部科技创新-2030-“脑科学与类脑重大项目评审专家，工信部国防基础科研、军委科技委前沿创新项目、教育部博士后基金以及浙江省自然基金等的项目评审专家。担任中国计算机学会智能汽车分会专委会常委委员、中国仿真学会交通建模与仿真专业委员会委员、中国仿真学会智能优化与调度专业委员会委员、世界机器人大赛-BCI脑控机器人专家组成员。他被评选为北京理工大学首届十佳导师。获北京理工大学优秀博士论文指导教师和优秀硕士论文指导教师称号。获北京理工大学首届“长寿秀伶”奖教金。

论文信息：

Multitask-Oriented Brain-Controlled Intelligent Vehicle Based on Human-Machine Intelligence Integration

DOI (identifier) 10.1109/TSMC.2022.3212744

仅用于学术交流，若有侵权，请后台留言，管理员即时删侵！