北理工团队创建自然场景下声音目标探测的听觉脑机接口

近日，北京理工大学机械与车辆学院毕路拯教授团队创建了自然场景下声音目标探测的听觉脑机接口。研究成果以“Sound Target Detection under Noisy Environment Using Brain-Computer Interface”为题，被国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》录取。论文第一作者为其团队硕士研究生王瑞东。

为了推进脑机接口和脑控机器迈向真实的应用场景，北京理工大学毕路拯教授团队一直致力于自然场景下的脑机接口、脑机混合智能和脑机协同控制的理论、方法和应用研究。在脑机接口方面，该团队关于考虑注意状态的运动意图分层解码模型曾发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队在推动运动意图神经解码走向真实应用场景方面取得研究进展》，关于单手和双手协同运动的神经解码成果曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《如何对单手和双手协同运动方向进行神经表征和解码？北理工研究团队给出了相关方案》，关于不同注意力状态下运动意图的鲁棒神经解码研究曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《北理工团队在不同注意力状态下肢体运动意图的鲁棒神经解码方面取得重要研究进展》，该论文也获得2022世界机器人大赛-BCI脑控机器人大赛一青年论文比赛一等奖（唯一），关于非侵入式神经信号的连续运动解码曾发表于国际顶级期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《北理工团队在基于非侵入式神经信号的连续运动解码方面取得新进展》。在脑机协同控制方面，该团队所创建的多任务操控的脑机协同控制方法并应用于智能车辆的研究曾发表在被国际顶级期刊《IEEE Transactions on Systems, Man, and Cybernetics: Systems》，参考《北理工团队创建面向多任务操控的脑机协同控制方法并应用于智能车辆》，创建的脑机协同控制框架以及在脑空智能车辆上的应用研究曾发表于国际顶级期刊《IEEE Transactions on Intelligent Transportation Systems》，参考《北理工研究团队在脑机协同控制技术与脑控智能车辆方面取得重要进展》，所提出的基于鲁棒非线性模型预测的脑机协同控制方法以及在脑空移动机器人上的应用研究曾发表于国际顶级期刊《IEEE Transactions on Cybernetics》，参考《北理工研究团队在脑-控移动机器人上取得重要进展》。此外，该团队首创的脑控多域多任务机器人系统还曾作为脑机接口领域创新成果在2022年世界机器人大赛现场进行展示，参考《北理工智能人机系统团队研发“脑控”机器人 应用于城市反恐防暴--2022世界机器人大赛》。

DOI (identifier) 10.1109/TNSRE.2022.3219595

研究背景及主要内容

基于声音信号的目标检测方法近年来被广泛应用于环境侦察、区域安防等领域，具有广阔的应用价值。目前，主流的声音目标检测方法的核心思想是利用机器学习的方法对实时采集的声音进行分类。但由于训练数据集相对于真实场景的不完备性以及可能出现的多种环境干扰，这些方法的性能在实际应用中会受到限制，在诸多场景中仍需要人对声音片段做出进一步的判断。为了将人对声音目标的判断能力以高效简洁的方式加入到检测系统中，北京理工大学毕路拯教授团队尝试使用面向自然场景的脑机接口实现声音目标检测。

以基于声音信号的无人机目标检测问题为例，团队首先在消声室条件下采集了三种不同规格型号的无人机在随意飞行时发出的声音，随后使用便携式声音采集设备采集了户外风声作为环境噪声，用于模拟声音传感器布置于环境中受到干扰的场景，最终使用采集到的两类声音模拟无人机在随机时刻出现的声音场景，三类无人机型号及相对于背景噪声的信噪比如下表所示（由于环境噪声和无人机声音的强度实时发生变化，信噪比为变化值，表中给出了信噪比的上界、下界和平均值）：

实验范式方面，在整个实验过程中，受试者在合理范围内以放松的姿势坐在舒适的椅子上，戴上脑电图采集帽(NeuroScan SynAmps2)和入耳式耳机，并被告知在实验过程中要直视面前屏幕上的命令，不要做较大的动作。单次实验中包含一个准备阶段和一个实验阶段。在准备阶段,屏幕上将显示一行指令“press any button when you are ready for the next trial”,然后受试者将得到5秒的准备时间。在实验阶段,受试者将听到一段包含目标声音（无人机）的自然风声（共计30s），目标声音（持续5s）将在随机的时刻出现。当受试者认为自己听到了目标声音，就按下键盘上的空格键作为响应。目标出现时刻与受试者按下按键的时刻之间的差值被定义为响应时间，若该时间小于2s则认为本次实验“检测成功”。

一个session中包含有12个trial。由于使用了三种无人机声音作为目标，在一个session中，目标声音以伪随机顺序出现(每种目标各出现4次，顺序随机)。在完成一个session后,受试者会进行了三分钟的休息。整个实验包含不少于10个session，总时长不超过120分钟.

图1实验范式

研究结果

共8名被试参与了本实验，行为学的结果表明，8名被试的检测成功率均在96%以上，成功检测的trial中，反应时间小于1s的trial所占的比例大于95%。

我们截取了每个trial对应于目标出现时刻[-5s,3s]区间内的EEG信号，进行了预处理流程，将1031个trial叠加平均后，我们在受试者的Fz、FCz、Cz和CPz通道观察到了非常明显的事件相关电位，更进一步，事件相关谱扰动（ERSP）的分析结果表明，声音目标的出现引起了EEG多个通道delta波段（1-5Hz）的能量上升和alpha波段（8-14Hz）的能量下降，从神经学的相关结论，后者表明受试者的注意力得到了重新部署，即将注意力集中到声音目标上。

图2 ERP结果

图三 ERSP结果

此外，我们发现，对应于三种不同的声音目标在时域和时频域上的神经表征具备一定程度的相似性，这种特性使得本文提出的方法从原理上取得了对于不同目标的泛化性能。

图3 不同目标对应的神经表征（ERSP结果来自于P1，Pz和P2通道）

我们提取了EEG信号的时频域表征作为解码特征，在此基础上训练了基于SVM的EEG解码模型用于实现最终的声音目标检测。我们首先对8名被试建立了subject-specific的解码模型，离线测试平均准确率为81%（5-fold validation），更进一步地，我们定义了伪在线检测中的性能评价指标，8名被试的解码模型在伪在线测试中的平均检测成功率达到了84%-69%，虚警率为6%-2%，检测时间为0.817s-0.981s（不同结果对应于不同的检测阈值）。

除以上测试之外，为了对比本研究提出的方法与现有方法在目标泛化性能上的差距，我们将DCASE 2020（Detection and Classification of Acoustic Scenes and Events，声音检测和分类领域最具权威的国际赛事）的算法作为比较的基线。我们将8名被试的EEG数据合并为一个通用数据集，在训练解码模型的过程中仅使用两种声音目标（Tello无人机和Duct Fan 无人机）对应的EEG数据；同时，也仅使用相同种类目标对应的声音片段完成对基线算法的训练，并对比了两种方法检测训练集中的目标和新目标（未出现在训练集中的目标，即DJI3无人机）时的性能差异。结果显示：基线方法检测训练集中出现的目标的成功率为97.5%，而针对新目标的检测成功率下降到43%；本研究对应的解码模型检测练集中出现的目标的成功率为99.85%（但虚警率为9.75%），而针对新目标的检测成功率为84%（虚警率3.28%）。

图4 两种范式下连续运动解码的泛化性能对比

图5 所提出的方法与基线方法的性能对比

研究贡献及前景

本研究表明了基于BCI的声音目标检测的实际可行性和性能优势，为开发更具鲁棒性和泛化性的声音目标检测系统提供了新的思路，为后续人机混合检测奠定了理论基础。

团队与作者简介

北京理工大学智能人机系统团队隶属于北京理工大学机械与车辆学院机电系统与装备研究所。团队由4名教师和30余名博士后、博士和硕士研究生组成，负责人为毕路拯教授。团队主要研究方向包括脑机接口与脑控智能机器、多机器人协同与多模态智能感知、无人机探测技术、以及人机智能交互与智能辅助驾驶。团队在国际权威期刊IEEE TCYB, TBME, TITS, TSMCS, TNSRE和THMS等发表论文100余篇（含IEEE Trans 27篇）。获授权国家发明专利26项。获教育部自然科学奖二等奖1项，中国电子学会科技进步二等奖1项。获得2022年世界机器人大会-BCI脑控机器人大赛-青年论文比赛一等奖（唯一）。获首届“京彩大创”北京大学生创新创业总决赛季军、一等奖和第八届中国国际“互联网+”大学生创新创业大赛北京赛区一等奖。

毕路拯教授简介

毕路拯现为北京理工大学机械与车辆学院教授、博士生导师、机电系统与装备研究所所长。他先后在美国University of Michigan, AnnArbor和新加坡南洋理工大学作过访问学者。他是IEEE高级会员、担任复杂系统建模与仿真（英文版）、IEEE/ASME AIM, ACC, ASME DSCC等的AE，Frontiers in Neurorobotics (SCI)客座AE。他是国家自然基金重点项目、装备发展部某重大项目、科技部科技创新-2030-“脑科学与类脑重大项目评审专家，工信部国防基础科研、军委科技委前沿创新项目、教育部博士后基金以及浙江省自然基金等的项目评审专家。担任中国计算机学会智能汽车分会专委会常委委员、中国仿真学会交通建模与仿真专业委员会委员、中国仿真学会智能优化与调度专业委员会委员、世界机器人大赛-BCI脑控机器人专家组成员。他被评选为北京理工大学首届十佳导师。获北京理工大学优秀博士论文指导教师和优秀硕士论文指导教师称号。获北京理工大学首届“长寿秀伶”奖教金。

论文信息：

Sound Target Detection under Noisy Environment Using Brain-Computer Interface

DOI (identifier) 10.1109/TNSRE.2022.3219595

仅用于学术交流，若有侵权，请后台留言，管理员即时删侵！