运用运动想象机制控制用于交流的BCI

脑机接口(Brain-Computer Interface，BCI)作为一种辅助工具，其被研发的初始目的在于帮助那些伴有严重运动障碍的个体，解决他们在日常中有关交流、导航、移动和环境交互等方面的问题。

在本论文中，我们讨论了两种通过记录与运动想象相关的神经活动的非侵入性BCI来进行交流的方法。第一种方法使用与肢体运动想象相关的感觉运动节律的调控，来连续地修改人工语音合成器的输出。第二种方法是通过检测单次运动想象试验中与事件相关的神经活动变化，来控制一种增强和替代性的商用通信设备。

这两种方法代表了基于BCI的通信的两个极端，从简单的语音生成通信设备的“按钮点击”操作到声音输出语音合成器的连续调节。 沿着“连续性”特征进行开发，目标是提高通信交流类BCI对于多样化目标用户群体的可接受度与实用性。

自从开发出第一台计算机以来，技术人员一直在努力减少用户和他们的设备之间的分离。从打孔卡到键盘是一个巨大的进步，今天我们有了可靠的语音控制、触摸屏和具有语言预测功能的自适应键盘。除了改善人们与计算机交互的方式外，这些新方法对于为轻度到中度语言和运动障碍人群提供通信系统的访问非常有用。尽管如此，这些方法仍需要人工或口头输入，这可能不适用于严重运动障碍和瘫痪人群，特别是那些由于中风和神经退行性疾病而患有闭锁综合征(Locked-In Syndrome，LIS)[1]的人群(如肌萎缩性脊髓侧索硬化症(Amyotrophic Lateral Sclerosis，ALS))。闭锁综合征的特征是几乎完全的瘫痪，包括四肢和面部，留存有一些眼球运动和大量的感觉和认知能力[2]。因此，LIS患者需要语言和交流方式上的可替代性的方式，并且不需要明显的运动控制。对于眼动控制可靠的人群，眼动跟踪硬件可用于控制高科技的增强与替代性功能的通信设备(AAC)，除了其他的用户自定义的输入法[3,4]。对于没有可靠的动眼运动控制的个体，脑机接口(BCI)可能是唯一可用的方法来提供与计算机和交流方式上的交互访问。所有BCI技术背后的想法都是对现有辅助技术的直接扩展，尽管在某种程度上是极端的。可参考使用眼睛注视跟踪器(eye-gaze tracker)在键盘上拼写的情况。在这种情况下，用户必须首先明确所需信息，识别通信显示器上所需的所有元素，关注每个元素，并做出适当的动眼运动来移动眼睛和驱动眼睛注视跟踪指针。对于LIS患者来说，最后的动眼运动阶段受损到这样的程度，眼睛注视跟踪要么是不可能的，要么是不可靠的。 使用按钮或鼠标点击来使用线性扫描选择通信设备项目的个体遵循类似的策略：所需要的项目被确定并注意到，然后，大脑皮层发出运动指令，激活肢体肌肉，以激活选择装置。同样，在LIS个体中，运动指令向外周传递的最后阶段也是受损或缺失的。在这两个例子中，BCI的目标都是试图在个体激活紊乱的外周之前截获最后一个可靠的神经控制信号。在视觉注意示例中，可以诱发和记录P300事件相关电位(Event-Related Potential，ERP)[5-9]，与按钮点击示例中的运动规划和执行相关的神经标记物。并在通信接口中使用[10-14]。 目前的一个主要研究领域是将BCI从研究设置转化为实际的用户设置[15,16]。这种转换过程存在一个障碍，因为大多数BCI使用定制的通信接口软件，可能并不一定与商业和临床专业人员已经支持的现有高科技AAC设备兼容。 在本文中，我们描述了两种基于运动想象的BCI通信系统，其中一个系统直接与现有的AAC设备进行对接，另一个系统提供直接的语音输出，而不需要单独的通信设备。

2 BCI作为AAC设备

BCI设备临床转译的一个障碍是依赖自定义通信接口，而这些接口往往与现有的AAC设备不兼容。因此，我们设计了一种不依赖于它自己的视觉界面的BCI，而是使用现有的AAC设备和软件来帮助引出用于BCI控制的神经活动。当参与者与Tobii C15通信设备(Tobii- Dyna Vox)交互时，他们进行隐蔽的(或想象的)肢体运动，并获取相关的脑电图(Electroencephalography，EEG)信号。以线性扫描协议呈现通信项目，期望生成与运动准备和运动执行相关的神经信号。具体来说，BCI既能检测到偶然性负变差(Contingent Negative Variation，CNV)，一种与即将到来的、被提示的运动的准备相关的电位[17-19]，也能检测到与事件相关(去)同步(Event-Related (De)Synchronization，ERD/ERS)，一种与准备和执行明显的或隐蔽的运动相关的运动体感节律频谱功率的变化[10-12]。

CNV是一种与事件相关的负值度，通常是在显示-反应(cue-response)范式中产生的，其中预告性性刺激提醒参与者即将发生的事件，而随后的命令性刺激则指示参与者做出已知的运动指令[17,18]。本实验的线性扫描界面是自动按顺序前进的，因此，所有非目标(non-target)行或列均可视为“预告”刺激1，目标(target)行或列为“命令”刺激。ERD/S是对显性和隐性运动指令的准备和执行的反应，不依赖于预告性刺激。通常，在μ和β波段中(8-14 Hz, 15-25 Hz，分别)可以观测到由于预期作用开始前后的频谱功率衰减所产生的ERD。我们的BCI使用两种与运动相关的信号来将神经活动分类为预期或非预期的动作(intended or unintended actions)，这些动作用于向AAC设备发送模拟按键信号以进行项目选择，不过我们下面只讨论CNV结果。

2.1 研究方法

6名无神经损伤的患者和1名ALS晚期患者参与了基于AAC的BCI实验。从62个主动式电极(g.HIamp，g.tec medical engineering GmbH Austria.)上记录每个参与者的连续脑电图，采样频率为512 Hz，带阻滤波器(陷波器)58-62 Hz。参与者坐在一个经过声音处理的隔间里，前面是一个模拟AAC设备，该设备显示了一个预先编程的通信界面页面。设备被配置为自动按顺序用红色方框(2.5 s间隔)突出显示每个通信项目，项目的名称通过AAC设备扬声器播放。研究人员向参与者提供了随机选择的目标项目，并要求他们在每次被突出显示时想象自己惯用手的一个动作。EEG信号在0.5 ~ 8 Hz范围内进行带通滤波，以获得CNV。

图为由北京泰和利康公司代理的g.HIamp高通道有线生物电信号采集系统

通过线性判别分析(Linear Discriminant Analysis，LDA)，从相对于项目高亮开始的−0.23 s到−0.03 s的平均EEG信号幅值，完成了在显性和隐性运动之前选择通信项目的CNV(the CNV that preceded overt and covert movement for selecting communication items)的离线分类。同时采集肢体的双极表面肌电图(Bipolar Surface Electromyography)，以确保参与者遵守运动想象指令。数据收集自每个条件下的80项重点突出试次(显性和隐蔽)，并使用2倍交叉验证(2-fold cross validation)评估LDA分类器的性能。在此过程中，每个条件下的前40个试次用于训练分类器，后40个试次用于验证，然后切换训练集和验证集，以获得对分类器性能的完整估计。

2.2 结果

EEG数据分析表明，CNV存在(统计上显著小于零，单侧检验(1-tailed t-test)，fdr校正p < 0.05)，并主要位于所有参与者的双侧顶叶电极上(见图1和图2)。在显性条件下，对于没有神经损伤的参与者，CNV的特征是在听觉刺激前出现缓慢的负性变化，然后出现峰值负性。

在隐性条件下，没有神经损伤的参与者只观察到听觉刺激开始前的峰值负性。对于患有ALS的参与者来说，在听觉刺激开始之前，显性的条件并没有引起可论证的负性，然而在隐性的条件下，在听觉刺激开始之前，就立即观察到轻微的负性。

图1. The topography of average normalized EEG amplitudes in the 200 ms prior to auditory stimulus onset.

LDA分类器的交叉验证准确率在显性条件下为64%，在隐性条件下为60%。在隐性条件下，LDA分类器对ALS患者的交叉验证准确率为63%，由于缺乏统计上显著的CNV响应，在显性条件下没有尝试。表1包括个人和平均分类精度的汇总。对于所有的参与者，分类是基于听觉刺激开始前0.2秒的窗口，不过，根据头皮上CNV负性峰值的位置不同，电极的数量也不同。一般来说，电极选择在CP、P和PO位置，在显性条件下(平均：3.5，范围：2-7)比隐蔽条件下(平均：1.8，范围：1-3)更多的电极通过我们的纳入标准。在ALS患者身上观察到类似的CNV地形，并使用来自CP区域的两个电极进行解码。

表1. A summary of offline decoding accuracy for all participants, with (P1–6) and without (ALS1) neuromotor impairment in the overt and covert production tasks.

图2. A graphical summary of average CNV amplitudes for overt (left column) and covert (right column) movements in the AAC selection paradigm.

2.3 讨论

本实验中描述的AAC-BCI设备旨在为已经使用或未来可能使用BCI的个人尽可能简化BCI控制。我们实现这一目标的方法是依赖现有的AAC技术和其他相关技术，这些相关技术可能是AAC用户(他们也是BCI的潜在用户)和AAC专业人员最熟悉的。控制AAC设备的最基本方法之一是使用一个物理按钮和一个带有自动前进扫描通信图标的视觉界面。这种装置可用于运动控制紊乱的个人情况下。在本实验中，我们将现有的AAC范式扩展到BCI，用“大脑开关”来取代AAC项目选择机制，该“大脑开关”是由大脑根据“按钮任务”中与运动计划和运动执行有关的神经电位控制的。

偶然负变是一种非常著名的神经电位，它先于提示类范式的运动。传统上，当个体知道他们将在不久的将来需要采取行动，但行动及其时机都不确定时，这种潜力最强[17,18]。然而，在这个实验中，只满足了部分用于诱发CNV的经典因素:(1)动作是在一个提示范式中做出的，(2)个体知道他们将在不久的将来做出动作。第三个因素，动作和时间的不确定性没有得到满足，原因为AAC设备以可预测的速率自动扫描所有可用的通信项目。我们的初步结果表明，第三个条件对诱导CNV不是必需的;在我们的范式中，它存在于有和没有神经损伤的个体中。此外，我们的离线分类结果表明，在一个提示的运动控制范式中，有可能准确地预测CNVs的发生。平均而言，对于无神经运动损伤的个体，LDA分类器在显性条件下的表现优于隐性条件。此外，与没有损伤的参与者相比，ALS患者在隐蔽条件下的解码器表现略好，尽管没有对这些差异进行统计分析。这些结果值得进一步研究用于实时控制AAC设备的在线解码器。

3 BCI-Controlled语音合成器

我们的第二个BCI实现通过检测对感觉运动区节律的调制[20]提供对共振峰频率的语音合成器的连续控制。该系统的主要优点是明显舍弃通信接口，而使用户直接控制声学语音输出。该BCI基于之前对脑电感觉运动节律连续二维控制信号的解码[14]。在之前的研究中，参与者通过肢体运动想象来调节感觉运动节奏，从而学会控制二维光标。 在口语形式中，元音和辅音转换的频谱能量可以用共振峰频率或共振峰的低维声学特征来表示(In speech, spectral energy of vowel sounds and transitions into, and out of, consonants can be represented by low-dimensional acoustic features known as formant frequencies, or formants.)。这些特征与声道动态变化的结构和共振特性直接相关。只使用前两个共振峰频率(F1和F2)就可以完美地表示美式英语中所有的单音节元音。此外，还有许多具备瞬时听觉反馈能力的实时共振峰频率语音合成器。因此，我们的BCI将感觉运动节律的连续调制，解码为一个二维共振峰频率特征向量，该特征向量被合成并实时反馈给用户。

表2. Pearson’s correlation coefficient (r) of the Kalman filter decoder for predicting formant frequency velocities in the synthesizer BCI.

3.1 研究方法

招募了3名没有任何神经运动损伤的人参加BCI控制的语音合成器的实验。用62个有源主动式电极(g.HIamp, g.tec medical engineering GmbH Austria.)连续记录EEG信号，采样频率为512 Hz，在58-62 Hz范围内使用陷波滤波器。然后将EEG信号与共平均参考值(CAR，Common Average Reference)再进行参考，并从7-15 Hz带通滤波，以得到μ波段(即感觉运动节律)。最后，根据希尔伯特变换(the Hilbert transform)得到的解析振幅，计算出频带能量。实验中，元音以二维光标位置的形式在显示器上直观呈现三个测试元音(/a/、/u/和/i/)的位置。利用Snack Sound Toolkit(KTH Royal Institute of Technology)实时合成听觉刺激(和BCI反馈)，并通过气动插入式耳机(pneumatic insert earphones)(ER1, Etymotic, Inc.)播放。参与者被要求在面对/a/刺激时想象移动他们的右手运动，/u/刺激时想象他们的左手移动，/i/刺激的想象他们的脚移动。

在训练过程中，参与者被要求在整个3 s刺激期间想象合适的动作。共有135个试次(每元音45次)，元音的顺序是随机的。利用感觉运动频带功率和目标元音共振峰频率速度(bark/s)来估计卡尔曼滤波解码器的状态和似然模型(the state and likelihood models)。共振峰速度取共振峰频率随时间的变化。离线训练和性能的评估，使用每个目标向量的共振峰速度轨迹(velocity trajectory)的相关系数的双重交叉验证，与结合后的二维共振峰速度轨迹(using a two-fold cross-validation of the correlation coefficient of each formant velocity trajectory to the target vector, and the combined 2D formant velocity trajectories. )。

3.2 结果

训练卡尔曼滤波解码器的过程揭示了预期运动想象的对侧的左右感觉运动区(C, CP和FC电极)的非对称的线性模型权重分布。相比之下，将感觉运动节奏调节与第二共振峰频率联系起来后的模型权重是双侧对称的(symmetric and bilateral)。模型权重分布如图3所示，证实了感觉运动区参与运动想象任务。

图3. The Kalman filter decoder linear model weights for each formant velocity dimension reveal contribution of the sensorimotor electrodes to the motor imagery task.

采用双重交叉验证的方法对训练后的卡尔曼滤波解码器进行离线性能评估。预测共振峰速度的模型如图4所示。在这个图中，预测的共振峰频率速度的平均值显示在左边的/i/(上)，/a/(中)和/u/(底部)有95%的置信区间(阴影区域)和黑色的速度目标。这些轨迹在图4(d)的二维共振峰速度平面上显示为/i/元音(蓝色)、/a/元音(红色)和/u/元音(黄色)。直观上看，可以观察到/i/元音速度比/a/和/u/元音更可靠的预测；然而，当速度在时间上进行积分以获得最终预测的共振峰频率时，会有较大的整体一致性(图4(d))。这些结果，在表2中定量总结，表明了预测的与目标共振峰的2D速度轨迹之间的中度相关性(r = 0.51)，以及个体共振峰与其目标之间的相关性(F1: r= 0.35, F2: r= 0.62)。

图 4. (Left) A graphical summary of the first and second formant frequency velocities (F1 blue, F2 red) for the /i/, /a/ and /u/ vowels, respectively in subfigures (a), (b) and (c).

3.3 讨论

BCI控制的语音合成器基本上是一种基于肢体运动成像的BCI，用于解码连续的2D输出向量(类似于[14])，但涉及到与语音相关的听觉和视觉反馈域。因此，我们可以检查我们的单个试点参与者的结果，以确定我们的协议、范式和BCI算法是否正常运行。具体地说，我们可以检查卡尔曼滤波线性模型的权重，这代表了在每一个元音产生的运动想象试验中7-15 Hz感觉运动节律和目标共振峰速度的调制之间的关系。这样，模型权重本身就为确定参与者用于完成元音合成器任务的EEG活动的空间地形提供了信息。

我们离线解码分析的结果揭示了用于控制第一共振峰频率的控制，和用于控制第二共振峰频率的协调反映差异激活的模型权重的头皮地形。这种不对称反应是意料之中的，因为我们要求参与者使用对侧肢体运动意象来描述元音/a/和/u/，它们在第一个共振峰中几乎完全不同。同样，控制第二种格式的协调的双边地形与将双侧脚运动想象与元音/i/产生联系起来的指示任务相一致，这主要不同于第二共振峰中的/a/和/u/。最后，预测的共振峰频率速度与目标之间的适度相关性有望用于在线控制范式的持续调查。音频和视觉信息的闭环反馈应该有助于产生错误控制信号，用于改进对元音/a/、/i/和/u/产生的连续BCI控制。

4 总结

在本文中，我们研究了使用两种独立控制技术进行通信的两个BCI系统。在第一个例子中，我们扩展了现有的AAC输入信号设计，以使用“大脑开关”访问通信软件程序。这种方法解码并使用与心理按钮按压任务相关的神经电位，以选择通信接口上的项目。我们的初步证据提供了一些令人鼓舞的结果，以继续在有或没有神经损伤的额外参与者中实时探索BCI应用。在第二个例子中，我们验证了我们从感觉运动节律调制中解码连续变化的二维共振峰频率的方法。我们的建模结果与过去基于SMR的BCI用于二维光标控制的研究相一致，并且对共振峰频率的离线预测足够可靠，可以用于通过BCI进行语音合成器在线控制的附加研究。

仅用于学术交流，若有侵权，请后台留言，即时删侵！