EEG/MEG-fMRI融合初识:在空间和时间上解析人脑反应

任何认知功能都是由许多皮质部位网络介导的，这些部位的活动是通过复杂的时间动力学来协调的。为了理解认知，我们需要在空间和时间上同时识别大脑的反应。在此，我们提出了一种技术，通过将功能性磁共振成像(fMRI)和脑电或脑磁(M/EEG)记录的人脑多变量反应模式联系起来来实现这一点。我们介绍了这种称为M/EEG-fMRI融合的无创分析技术的原理和当前应用，并讨论了其优缺点。我们强调了它在认知神经科学中的广泛适用性，以及它对进一步发展和延伸的开放性如何赋予它在未来更深入理解认知的强大潜力。

1. 简介：识别人类大脑在空间和时间上的反应

我们认为我们的认知是理所当然的:阅读这些单词，识别一个声音，或者记住你把手机放在哪里，这些都是我们有规律地、毫不费力地参与的认知功能。然而，这种明显的简单性掩盖了神经活动地下编舞的复杂性。每个认知功能都涉及一个具有特定时间动力学的皮质部位网络。一些站点表现出瞬态信号，通过网络快速传输信息；其他站点表现出持续数百毫秒的反应。因此，表征神经活动如何激活认知功能的关键是以高分辨率在空间和时间上同时识别神经活动。

这是当代认知神经科学面临的一个重大挑战，因为目前的非侵入性大脑测量技术在空间或时间分辨率方面表现出色，但无法在两方面都出色。脑电/磁图(M/EEG)在毫秒级具有良好的时间分辨率，但缺乏空间分辨率。相比之下，功能性磁共振成像(fMRI)即使在毫米水平以下也能分辨与大脑活动相关的血液性质变化，但速度太慢，无法在快速时间尺度下分辨大脑活动。因此，当孤立考虑时，每种技术都没有充分说明大脑区域和时间点之间的多对多映射（图1A）。然而，这些技术优点的互补性激发了这样的想法，即通过组合测量数据，人们可以组合它们的优点，同时克服它们的缺点。在这里，我们讨论了基于代表性相似性的这一想法的一个有希望的最新表现，我们称之为M/EEG-fMRI融合。

我们从介绍该技术的基本形式开始，并将其与相关方法进行比较。然后，我们重点介绍了最近使用M/EEG-fMRI融合技术对感觉加工和高级认知功能的神经动力学进行新阐释的研究。因此，我们证明了M/EEG-fMRI融合框架在适应和开发方面的灵活性。最后，我们讨论了M/EEG-fMRI融合的未来潜力及其局限性。我们认为，M/EEG- fMRI融合将有助于提取当前成像方法发展的精华，将人类大脑理论描述的极限推向新的水平。

2. M/EEG-fMRI融合的基本公式

如何解析M/EEG和fMRI在不同位置激活时在不同时间点观察到的神经反应映射？在功能磁共振成像中的空间位置和M/EEG中的时间点之间建立联系的一个想法是有意引入额外的实验限制。例如，研究人员为此目的在同时EEG-fMRI中使用了逐个试验的可变性（图1B）。这种想法是，通过不同成像方式对神经活动的测量，在逐个试验的基础上相互关联时，反映了相同的发生器。这样，用功能磁共振成像(fMRI)识别的激活脑区与用M/EEG测量的特定时间点的神经反应联系起来。   M/EEG-fMRI融合的相似之处在于，它还使用实验诱发的约束来连接M/EEG和fMRI数据（图1C-1F）。然而，它在两个基本方面有所不同。首先，它收集逐个条件而不是逐个试验的可变性，以连接不同模态的大脑活动测量。这种方法结合了不能同时进行的脑测量，如fMRI和脑磁图(MEG)。第二，它以多变量的方式将测量值相互关联，而不是通过关联单变量的平均值。这是有动机的。此外，通过跨测量通道汇集信号，它可以提供比单变量方法更高的灵敏度。通过将M/EEG-fMRI融合作为代表性相似性分析(RSA)的一个特殊案例来考虑，很容易看出这些想法是如何实际实现的。RSA的目标是通过将信号抽象到一个共同的相似性空间中，将不可公度的多元测量空间(如MEG传感器空间、fMRI体素空间或模型单元空间)联系起来。

我们一步一步地描述这个过程，并通过一个研究视觉对象处理的实验来举例说明。首先，选择一组条件，据信这些条件足以捕捉认知功能下的神经处理的多样性(这里是一组不同的对象)（图1C）。然后对这些情况进行M/EEG和fMRI测量（图1D）。在每个单独的测量空间中，对于条件的所有成对组合，我们计算它们的多元测量之间的相似性(或等价地，不相似性)（图1E）。信号空间中(即，fMRI中的体素激活模式和M/EEG中的传感器激活模式)。许多不同的相似性和不相似性度量是可用的。出于演示目的，在实践中，可以使用简单相关(或1减去相异相关)。在任何情况下，结果值都存储在按比较条件按行和列索引的矩阵中，称为代表性相异矩阵(RDMs)。RDM总结了哪些条件会导致fMRI区域和M/EEG时间点的相似或不相似模式。至关重要的是，尽管RDM来源于不可通约的源信号，但它们具有相同的结构和维度。这使得它们具有直接可比性。因此，通过确定跨fMRI和M/EEG测量空间的RDM的相似性，我们可以检验在特定时间点的特定位置测量相同神经发生器的假设（图1F）。

总之，M/EEG和fMRI数据可以在共同的表征结构基础上相互关联(融合)，尽管信号源空间不适应。

下面，我们将详细介绍如何使用M/EEG-fMRI融合来揭示认知功能的时空动态性。我们首先关注视觉处理。

图1 识别空间和时间上的大脑反应

3. 视觉加工的时空动力学

M/EEG-fMRI融合的首次应用使用感兴趣区域(ROI)方法研究了视觉对象处理期间的时空处理级联。在受试者观看一组92幅日常物品图像时，用MEG和fMRI记录大脑反应（图2A）。

以腹侧视觉流为重点，作者将MEG数据与来自早期视皮层(EVC)和颞下(IT)区域的fMRI ROI数据融合，作为皮质视觉处理层级的起点和终点。他们发现，EVC地区的神经反应比信息技术地区更早出现并达到峰值（图2B）。该结果与腹侧视觉流作为分层处理级联，并证明了M/EEG-fMRI融合方法评估人脑在空间和时间上的反应模式的适用性。使用一组新的日常物体图像（图2C）的独立研究在腹侧流中复制了最初的发现，并在背侧流中证明了加工级联，为顶叶皮层中的脑反应提供了新的时间戳（图2D）。

随后的研究将M/EEG-fMRI融合应用于除对象以外的视觉内容的研究处理。例如，一项研究调查了面部感知的时空动态性的融合。EEG结合fMRI数据显示了一个从EVC开始的加工级联反应，并进展到专门用于面部加工的皮质区域(即面部选择性区域枕面部区域[OFA]和梭形面部区域[FFA])以及顶叶区域。另一项研究将M/EEG-fMRI融合应用于场景感知的研究。作者向参与者展示了不同布局和纹理的场景的图像。他们发现，一个已知对视觉场景处理具有选择性的区域，即枕叶区(OPA)，在图像呈现后100 ms内参与了空间布局处理。这为OPA参与空间布局的快速编码提供了证据。

第一个重要步骤是通过M/EEG-fMRI融合与什么相结合来定位持续性与非持续性动力学。现在通常称为时间泛化分析。时间泛化的思想是通过评估多变量M/EEG信号随时间的相似程度，加深对神经动力学的理解。以这种方式进行，对在对象感知期间记录的MEG数据的时间概括分析显示了快速瞬时(例如，沿对角线早期的高解码精度)和持续表示的复杂模式（（图2E）用白色虚线表示)。几种持久性成分的存在立即提出了它们在大脑中起源的问题。M/EEG-fMRI融合通过将这些持续性表征定位到EVC和IT区域来提供答案（图2F,2G）。这一结果提供了关于瞬时和持续脑反应之间的理论区别的在视觉期间的时空神经动力学的描述。

图2 用于理解视觉处理的基于ROI的M/EEG-fMRI融合方法

第二个基本步骤是使用探照灯方法扩展到空间无偏分析（图3A）。对于对象处理，基于空间无偏倚探照灯的fMRI和MEG数据融合复制并扩展了基于ROI的结果，以更精细地了解神经元响应在人脑感知过程中是如何进化的（图3B,3C）。原则上，M/EEG-fMRI融合可与MEG、EEG或其组合一起使用（图3D）。

图3 用于理解视觉处理的基于探照灯的M/EEG-fMRI融合的方法、结果和变体

这些视觉加工研究共同证明了M/EEG-fMRI融合的可行性、通用性和潜力，为认知加工的时空加工提供了新的视角。在视觉系统中对不同内容和独立研究中观察到了相似的时空处理串联，这一事实从定性上说明了该技术产生可再现和可靠结果的能力。这也可以通过比较跨数据和刺激集的M/EEG-fMRI融合结果来定量确定，表明良好的泛化能力和可靠性。

4. 高级认知的时空动力学

虽然M/EEG fMRI融合最早建立在感知领域，但它绝不局限于认知的这一方面。在此，我们强调了两项将M/EEG-fMRI融合应用于更高级认知的研究，并展示了该技术如何在每种情况下得到进一步发展，以达到预期的理论见解。

第一个例子是研究人类如何处理对象出现的任务环境（图4A）。任务和行为目标强烈影响我们对世界的看法。它们对感知的巨大影响反映在发现任务在大脑的许多不同区域被处理并且影响视觉处理。这就提出了一个问题，即这些大脑区域的活动是如何受到跨时间任务的调节的。他们在模型关系数据库管理系统中阐述了任务和对象类别的影响，然后分别确定了两个模型关系数据库管理系统中每一个的MEG和fMRI之间的方差比例（图4B）。结果（图4C-4F）显示，整个大脑皮层中与任务相关的信号平行上升，任务对对象的支配地位日益增强。

图4 M/EEG融合在处理任务上下文中的应用与扩展

第二个例子是研究与注意加工有关的时空神经动力学的研究。在第一步中，作者将EEG与fMRI数据融合，揭示了从感觉区到顶叶区再到额叶区的加工级联（图5A）。第二步，作者将M/EEG-fMRI分析提升了一个层次，将其结果作为进一步分析的起点。基于皮质分区进行M/EEG-fMRI融合后（图5B），他们比较了分区特异性M/EEG-fMRI时间过程的相似性（图5C）。目视检查分区特异性EEG-fMRI时间过程之间的相似性关系表明存在8个聚类（图5D），它们被用来进行歧视分析。四个判别函数解释了95%的地区差异。它们的系数绘制在跨越时间（图5E）和空间（图5F）。这些功能揭示了跨网络时空动力学的大规模模式，作者将其解释为注意力的四个不同时空成分。这些结果为注意加工的大规模时空动力学提供了新的视角，是开发人脑注意加工定量时空模型的垫脚石。

图5 M/EEG融合在注意力处理中的应用与扩展

总之，这些研究例证了M/EEG-fMRI如何用于研究复杂的认知现象，如任务处理和注意力控制。他们进一步证明了如何通过使M/EEG- fMRI融合具有内容特异性或使其结果成为进一步分析的主题，从而在方法上扩展该融合以获得更深入的理论见解。

5. M/EEG-fMRI融合的未来潜力

如上所述，M/EEG-fMRI融合不是一种特定的固定单一目的算法，而是一种通用且易于扩展的分析框架。这使得M/EEG-fMRI融合在未来广泛领域的认知功能研究中具有强大的潜力。我们在下面强调了三个不同的一般方向，并为每个方向提供了具体的例子。

首先，M/EEG fMRI融合可以立即应用于目前使用M/EEG和fMRI的任何研究领域。因此，它的潜在应用范围从理解不足的基本感觉编码，如触摸或声音，涉及复杂的认知过程(例如，工作记忆、语言或计划)，以及神经动力学如何在临床环境(例如，中风或精神疾病)中或在发育期间改变的研究(例如，通过纵向或年龄比较研究)（图6A）。

为了更具体地说明这一点，让我们考虑三个例子。首先，M/EEG-fMRI有助于更好地理解信息交换在认知功能中是如何协调的，认知功能在潜在的不同脑区有几个阶段的映射，如工作记忆中的编码、维持和检索。另一个例子是对运动系统的研究；特别是导致运动的神经活动。为此，M/EEG融合将不是在时间上向前(例如，在呈现刺激之后)进行，而是在时间上向后进行，锁定到运动的开始。一个令人兴奋的前景是，如果将M/EEG-fMRI对刺激开始的时间锁定和对反应的时间锁定的结果结合起来，那么这就揭示了在呈现刺激和行为反应之间的完整的神经处理级联。最后，M/EEG- fMRI融合可用于临床神经科学，以识别脑损伤或精神疾病如何影响信息流，揭示时空功能生物标志物，以帮助诊断疾病或明确损伤，将其作为治疗性干预的先兆。

其次，M/EEG-fMRI融合可以与其他在M/EEG和fMRI研究中已经有单独应用的技术相结合。这包括有创和无创脑刺激，以及眼球运动评估和生理测量。例如，刺激的作用，如经颅磁刺激，可以根据其对时空网络动力学的影响来评估特定大脑区域（图6B）。这可能有助于在时空识别的神经反应和认知功能之间建立因果关系。

第三，M/EEG-MRI融合可立即受益于相关技术的创新，为解决大脑反应提供新的解决方案。作为一个例子，让我们考虑将信息流分解为两个基本流的挑战:前馈和反馈。这对于当前的人类神经成像来说是一个具有挑战性的问题，因为输入和输出信号在我们可以无创测量的水平上重叠。因此，目前M/EEG-fMRI融合在解决这一问题上的应用使用了经过充分验证的实验性干预措施，例如掩蔽，以将前馈与反馈信息流分离开来。另一个正在出现的可能性是利用方法创新（图6C）。在空间上，超高场fMRI可以分辨不同皮质深度的信号，不同深度处的皮质层通过向外馈送和反馈解剖连接。因此，区分层特异性活性可以帮助分离前馈和反馈相关的信号。在时间上，前馈和反馈，信息流与不同频率相关联。较低的频率与反馈的关系更密切，而较高的频率与前馈活动的关系更密切。

图6 M/EEG-fMRI融合的未来潜力

总之，M/EEG-fMRI可能被证明是一种有价值的工具，以其当前的形式，在广泛的研究领域中理解神经动力学，与其他技术进行新颖的结合以操纵大脑数据，并集中体现创新的无先例的分析能力。

6. 总结

为了理解人脑中复杂的神经加工过程，我们需要在空间和时间上从其发生的层面解析其组成过程。在缺乏擅长空间和时间分辨率的单一非侵入性技术的情况下，结合多种技术信息的分析方法是关键。M/EEG-fMRI融合就是这样一种方法。其可行性已在视觉感知研究中得到论证，并已成功转移到高级认知功能的研究中。它的扩展特别灵活，非常适合立即从它所结合的成像技术的未来发展中受益。因此，我们认为它有潜力在广泛的领域中得到富有成效的应用，以揭示人类认知功能的时空动态。