Nature子刊：大脑时间工具箱－将电生理数据与脑动力学结合

摘要

神经科学的目的是通过分析复杂的脑细胞群活动模式来理解大脑中的认知，但问题是数据时间格式影响分析。大脑是一个有自己的动态和时 间机制的系统，不同于人为定义的时间系统。在这里，我们展示了脑时间工具箱，这是一个软件库，它可以 根据协调认知神经模式的振荡来重新调整电生理学数据。这些振荡不断地减慢、加速又经历突然变化，导致大脑内部 机制和时间机制间的不和谐。工具箱通过将数据转变为协调振荡的动力学数据，设置振荡周期作为数据的新时间轴来克服机制间不和谐。从而研究大脑中的神经模式，有助于神经科学探究动态认知，本文演示了 工具箱如何显示在默认时钟时间格式中没有的结果。

引言

每天的任务都涉及大量动态协同运作的认知功能，像在会议中做笔记或在电子游戏中与朋友战斗等，这些都需要注意力、运动活动、感知、记忆和决策，每一种都会随着时间的推移而发展。大脑是如何实现动态认知的？时间序列记录方法主要是电生理测量，包括脑电图 (EEG) 、脑磁图 (MEG)、单细胞和多细胞记录。

秒对大脑来说是不适应的

从神经成像设备的原始输出到对记录的大脑信号的分析，时间被操作为毫秒的时钟时间序列。我们声称－时钟时间－通常都不适用于神经科学。这是因为时钟时间是由我们和我们根据地球旋转时间来定义的。然而，大脑本身使用它自己的时间机制，由它自己的动态所决定。因此，除非它与特定的行为明确相关，比如维持昼夜节律或者追踪一个依赖于时间的奖励，大脑是以一种微妙的、敏感的方式计时方式，关注的是协调细胞之间的通信， 比如一会儿发送信息，一会儿接收反馈信号。因此大脑的内在时间格式由大脑活动的内部过程决定。

周期作为大脑的原生单位

大脑振荡可以很好地组织大脑活动。首先，每个振荡的周期都包含一个兴奋性窗口，而不同振荡的频率也意味着不同的兴奋性窗口。振荡的功能作用已经 在包括注意力在内的各种认知功能中得到证明，包括注意力，感知（听觉、视觉和触觉、行动、记忆 力和决策.总之，将大脑振荡定位为大脑的时钟机制， 以灵活的方式聚集大脑活动来组织动态认知。因此，大脑的基本时间单位是协调神经放电的振荡周期，而不是我们形成数据格式的毫秒。

时钟和大脑中的时间经常不同调

当神经科学家 研究动态认知时，他们会在各种试验中重复测量，并在每次试 验开始时重置秒表。然而，有些振荡不会重置.即使大多数这样做，振荡在频率上不断演化，并在相位上显示跳跃（图.1)，导致维度之间的不协调，并且会不断累积。这种非平衡性的使得时钟时间成为一种不适合研究动态认知功 能的时间模式的形式，因为它不能反映大脑本身及时传递信息的方式以空间注意为例，研究表明，在顶叶区域的alpha振荡 (8—12Hz) 协调了空间注意的动态变化.如果这些振荡在试验的开始阶段有所不同，那么空间注意的神经模式就会随着试次而变化。同样地，如果振荡的频率减慢，这些模式也会减慢。比如解码视野中的隐蔽注意轨迹用相同的周期的时钟时间会混淆结果。alpha振荡的减慢意味着大脑时间相对于时钟时间落后，所以用默认格式分析数据会加速注意力真实模式的读取，而分析大脑的最佳方法是依赖于它自己的动态——从内而外（图2）。此外，不同的大脑有不同的动态，这也导致了大脑之间的不和谐。在注意力实验中，个体间时钟alpha振荡的频率不同也意味着模式也会有所不同。通过平均参与者的注意力来寻找空间注意力的进化模式，就像问在一个包含不同行星的太阳系中春天何时转向夏天一样，所以需要修正个体动态。

图1 时钟与脑时间不协调的来源。大脑的振荡是非平稳的，它会导致大脑内部动力学和时钟之间的不对应或“不和谐”时间a，振荡显示频率漂移和相位上的自发跳变（自我重置）。b，两个具有不同起始阶段的振荡。蓝色的振荡开始于一个上升的阶段，而沙色的振荡开始于一个下降的阶段。每个面板的顶部的一行显示振荡的振幅波动，而底部的一行显示相位。

图2 研究外系统的最佳方法 a，想象一个与地球完全不同的行星，那里每个季节的持续时间都有很大的不同例如，开普勒-413b行星由于其偏心轨道，季节不稳定。为了理解这个系统，我们测量了一个感兴趣的变量，比如表面温度。如果我们把温度绘制成地球季节（地球时间）的函数，数据将会被严重扭曲，妨碍解释。相反，如果我们要研究系统依靠于自己的动态（系统时间），就可以解释数据中相同的时间模式。b，根据大脑的动态来解释数据模式能够准确地读出信息的进化模式。

考虑大脑时间的方法

首先，可以追踪振荡的阶段来解释大脑数据中的一些差异或行为，分析可以选择性地锁定在振荡的波峰或波谷上。其次，在进行任何分析之前重新构造电生理数据，包括以相位作为时间轴来组织数据，以及线性时间wraping方法，根据大脑动力学的不断变化来转换模板信号。但这些方法都有各自的缺点。使用相位来解释数据中的差异或锁定对峰值或低谷的分析提供了关于选择性数据样本的见解，但对动态模式的读出几乎没有帮助。将时间轴设置为相位可能并不总是可行的，并且与原始数据结构明显不同，因此就需要进行独特的基于相位的分析。线性时间wrapping可以等于在试次中确定大脑时间，但由于其线性性质，在整个试验中处理并不平稳。

一种动态的和整体的来考虑大脑时间的方法

脑时间扭曲（brain time warping）可以作为一种方法来解释时钟和大脑时间之间的不和谐，它在每次试次中识别出时钟和大脑时间失调的片段。然后，它对数据进行了重新调整他们的差异返回脑时间样本（图3）。脑时间扭曲包含了一种称为动态时间扭曲（DTW）的算法，主要描述两个信号的相似性。DTW计算一个扭曲路径，显示了每个信号的样本需要如何进行转换，以优化它们的对齐。对于大脑的时间扭曲来说，这些信号是时钟和大脑信号N个时间（图3a）。大脑时间可以被描述为振荡的阶段，以协调一个过程的动态，有可变的开始、漂移和相位跳跃。时钟时间可以被描述为的相位静止的正弦波，以秒为单位波动，毫秒和周期彼此关联。（例如，在图3a中，100 ms的倍数对应于时钟时间信号的每个零交叉）。DTW突出了时钟和大脑时间不和谐的时间点，然后转换原始数据（图3c）。仍然以注意研究为例，在DTW识别出的alpha振荡变慢的时间段，大脑时间扭曲通过重复样本来扩展数据，试图使其结构更接近空间注意的真实动态。大脑时间扭曲在试次间循环，通过应用扭曲路径循环不断纠正不和谐。实际上，大脑时间扭曲以数据驱动的方式使数据适应感兴趣的振荡动态。形成一个关于大脑时间的数据集，而不是时钟时间，因此，时间轴已从秒钟变为周期。本研究介绍大脑时间工具箱（https://github.com/sandervanbree/braintime)，实现大脑时间扭曲并测试其效果。该软件库用于电生理数据分析，包括脑电图、脑磁图和单细胞和多细胞记录。该工具箱允许用户从一个或多个大脑时间信号源（例如，从数据结构中提取的通道或独立组件）。这些信号就源可以作为大脑时间扭曲算法的基础。

图3 时钟与脑时间之间的脑时间扭曲 a，大脑时间从其上升阶段开始，并在试次过程中减慢其频率，两者都导致与时钟时间不匹配。b，为了便于扭曲，时钟和大脑时间的相位被打开，这意味着相位的计算不需要周期重置。c，DTW计算一个最小的扭曲路径减小维度之间的差异。逐个循环，将该路径应用于输入的电生理数据，根据大脑动态转换其动态。为了对齐在整个试次内的大脑时间，每个周期的数据都被调整为一个恒定数量的样本。对所有剩余的试验都重复前面的步骤。完成后，数据的时间轴从秒到周期。

方法

模拟数据

本研究在三个电生理学数据集上测试了该算法的效果。在第一个数据集（n=10）模拟了一个基本的注意力聚焦模型，能够完全控制基础大脑模式（the ground truth brain patterns，图4a）。简单地说，我们在右侧顶叶皮层放置了一个传导偶极子，它对两个位于视觉皮层的伴随偶极子施加自上而下的控制。我们生成了两个条件，一个注意力指向左，一个指向右，这两种条件下的大脑活动截然不同，而且实验研究表示导电偶极子总是强迫其对侧跟随电极进入相同的相位，同时与同侧电极设置反相位关系.此外，导电偶极子抑制了对侧跟随者偶极子，降低了其振幅。然后，我们将数据注入可变的起始阶段和频率漂移，以模拟自然的脑活动.在第二个数据集（n=7）中，我们扭曲了来自啮齿类动物的颅内数据（图4b)，感兴趣的是描述内嗅皮层的局部场电位（LFP）和网格细胞放电模式的动态，仍将数据格式化为两个条件。在第三个数据集（n=16）中，我们扭曲了人类被试观察移动的点记录的脑电图数据，（图4c).

图4 用于验证脑时间扭曲的电生理学数据集 

基本分析

首先，我们测试了扭曲是否会增加在相应脑振荡的预测位置附近的通道的事件相关电位的振荡结构。这一分析为大脑时间扭转是否能克服非平稳性提供了一个定性的指示。其次对所有通道做时频分析，并测试扭曲数据是否在功率谱的预测频率处显示出更高的峰值。这就量化了大脑时间扭转如何克服数据中的频率漂移和相位跳跃。最后，比较所有跨通道和脑时间的ITC（intertrial coherence）。我们预测通过在试次中平衡大脑时间，大脑时间扭曲可增加预测感兴趣频率的ITC。

大脑的时间扭曲恢复了振荡活动

在模拟数据集中，时钟时间数据的事件相关平均值没有显示出稳健的振荡形状。扭曲后，振荡结构数据中的信息被定性地揭示出来（图5a）。此外，我们发现该算法在扭曲频率附近选择性地提高了功率谱（图5b），与我们假设一致，增加了峰值的大小。时钟时间中的ITC在模拟的alpha率附近显示出相对较低的值，而在较低的alpha附近只有微弱的聚类结果（图5c）。ITC是增强的通过大脑时间扭曲，揭示了被试扭曲频率的强集群。我们在啮齿类动物数据集上也发现了类似的结果。对于人类的数据，我们发现了一个在扭曲频率下，ITC显著增加，但在功率谱的峰值下没有增加。总之，这些结果表明，扭曲可以揭示振荡由于时钟时间对数据的扭曲效应而丢失的活动。

图5 对模拟数据集的基本分析结果。a，一个模拟被试的左侧视觉皮层的erp。在时钟时间内，平均试次会破坏模拟的振荡循环结构。大脑的时间扭曲通过修复不和谐恢复结构。b，所有信道和被试的功率谱平均值。大脑的时间扭曲增加了每个被试模拟速率下的alpha振荡功率。大脑时间的结果总是参照个体参与者的大脑时间率（时钟时间频率/扭曲的频率）。这设置1 Hz作为每个参与者的扭转频率（例如，0.5 Hz作为扭转频率的一半）。我们使用FOOOF工具箱删除了功率谱中的非周期（1/f）分量。c, ITC所有通道和被试的平均值。大脑时间扭曲增加了（原始模型）alpha频率的ITC。分析窗口被限制在1—2秒内，以减少人工伪迹。我们基于最大值平衡b中、c中的时钟和大脑时间之间的y轴对应的颜色轴，方便维度视觉比较。

高级分析

在高级分析测试了大脑的时间扭曲是否揭示了认知的动态模式。对于每个数据集，条件的设置使它们的对比度是预期的大脑活动差异，从而形成认知的神经特征。例如，在人类数据集中，左右运动神经活动的差异代表了空间注意的神经特征，排除了与关注一个或其他空间方向无关的活动。作为认知基础的神经过程会导致神经特征随着振荡而变化。模式分类器利用神经信号对未训练数据的条件（即类）成分进行预测。因此，分类器的性能是认知的神经信号保真度的一个有用的指标——分类器性能的波动表明神经信号的波动（周期性的）.基于这些假设，我们预测大脑时间扭曲通过适应数据中的非平稳性增强了这些神经特征的周期性。

为了验证这一点，使用线性判别分析（LDA）来对每个数据集的条件进行分类。我们在每个时间点上训练了LDA，并测试了它在所有其他时间点上的精确程度。研究结果是一个二维时间泛化矩阵（two-dimensional temporal generalization matrix，TGM），它提供了一个分类性能随时间变化的鲁棒映射（以及神经信号保真度）。总之，我们假设tgm的周期性是检测大脑认知模式的高水平测量，我们预测大脑时间扭曲会增加这种模式时钟振荡动力学中的环。

量化周期性

对于高级分析，对TGM的每行和列应用快速傅里叶变换（FFT）来量化TGM的周期性，取所得到的频谱的平均值变成一个单一的频谱，周期性频谱。这个频谱量化了神经特征在不同频率下的波动程度。为了验证我们的假设，大脑时间扭曲增加对于神经信号的振荡结构，我们相互对比了从时钟和大脑时间数据中获得的频谱，并对比了在感兴趣的预测频率下的周期性。此外，为了帮助可视化的检查周期性，我们还报告了每个数据集的TGM的自相关图。这些映射是通过将TGM与迭代移动的版本相关联，生成其自相似性的表示，从而带来潜在的周期结构。

统计学测试的周期性

为了评估周期性谱中可靠的频率的统计意义，在认知没有波动的神经特征的零假设下，我们将经验推导的谱与得到的周期性谱进行了比较。为此，我们创建了一个TGM，使用随机排列的分类标签进行训练，LDA获得数据。这个过程破坏了数据固有的真实类结构，使分类器具有伪神经信号（即不包含感兴趣的认知过程的共同信号）。为了建立统计可靠性，我们比较了经验推导的TGM中峰的大小与通过排列标签获得的tgm的大小分布，包括时钟时间和大脑时间数据。

大脑的时间扭曲恢复了认知的神经模式

在模拟中，这些提供的神经特征反映了注意力。这个信号的模拟模式没有确定默认时钟时间格式的，但在大脑时间扭曲后出现（图6）。

图6 对模拟数据集的高级分析结果。我们在分类器的TGM中测试了周期性模式，它展示一个认知的神经特征的索引分类器的性能随时间而泛化。a，一个例子参与者的TGM显示时钟时间没有周期性结构（顶部）。经过脑时间扭曲后，模拟的周期结构在神经特征被恢复，棋盘图案（底部）证明。b，在TGM的自相关图中，时钟和大脑时间之间的差异在定性上变得惊人。c，我们通过对tgm的所有行和列应用一个FFT来量化周期性。然后，我们通过比较经验周期性和排列周期性（由s简化类标签）。只有脑时间谱在翘曲频率（P< 0.001）和第一次谐波（P< 0.05）处表现出显著的周期性，表明脑时间翘曲校正了d错误和揭示地面真相神经特征动力学（底部和顶部）。每个参与者在他们的扭曲频率上都有选择性地表现出周期性的峰值。我们校正了多重比较（使用错误发现率（FDR）56），除了在大脑时间谱中的特定频率下，我们假设分类器的周期性（0.5、1和2 Hz；当应用时，1 Hz仍然显著g FDR).我们将在补充章节1.2中报告完整的方法。我们在补充部分3.1中提供了额外的图，包括所有的tgm、自相关图和周期性谱）。

在啮齿类动物中，不同类别之间的活动差异反映了动物是否在一个由网格细胞编码的地点场中，从而产生了空间导航的神经基础的特征.在时钟时间中，没有明显的周期性（图7a；顶部），尽管网格单元对theta振荡有强烈的相位锁定，但大脑中的时间将网格单元的发射率扭曲为从LFP获得的theta振荡周期性（图7a；底部）。在人类的数据中，神经特征反映了空间注意，这是由左右运动时大脑活动的差异所提供的。而时钟时间数据则可以定性地显示alpha的一些周期性，峰与周期性谱峰不一致（图7b；顶部）。相比之下，大脑的时间扭曲显示出突出的情况以及被试alpha频率的可靠周期性（图7b；底部）。总之，基本的和先进的分析结果表明，大脑时间扭曲是一个很有前途的工具，可以用来修复时钟与大脑时间之间的紧密关系，促进了对动态认知大脑的研究。

图7 对啮齿类动物和人类数据集的高级分析结果

结果与讨论

使用大脑时间扭曲的重新调整是循环的吗？

大脑时间扭曲的一个潜在问题可能是它简单地将振荡结构强加给数据。这个算法使数据模式在扭曲的频率上波动。用于大脑时间扭曲的路径不包含振荡结构。如果这个路径被应用到一个随机的时间序列上，它就不会增加的振荡形状。这是因为路径被设计用来显示用于扭曲的振荡何时经历非平稳行为。然而，大脑时间扭曲利用路径使数据与大脑动态对齐，因此如果扭曲信号在数据内，其平稳性就会增加，引入一些振荡结构。循环性取决于两个因素：分析的类型和扭曲信号和扭曲数据两者之间的依赖关系。分析方法包括基本分析和高级分析，在基本分析中，任何关于扭曲频率的增加都不应被认为是这些频率与认知关联的依据，因为分析不够独立。从这个意义上说，大脑的时间扭曲可以作为一个预处理步骤，为后续足够独立的高级方法做准备。高级分类分析是一种无循环的高级方法，通过利用认知神经特征，而不是振荡本身，只有扭曲与认知潜在活动相关的振荡才会产生预计的认知神经信号波动。此外，高级分析获得的零分布模式从所有小错误模型中受益，作为振荡结构的经验分布。扭曲信号和转换数据之间的依赖性是另一个需要考虑的因素。如果造成循环的原因主要是由于扭曲信号的变化，那么就把它移除而减少了循环问题，保持后续的分析是正交的。工具包里有识别循环问题，在出现循环可能时会提出警告。

统计假阳性

大脑时间扭曲是一种假设驱动的方法，利用了振荡的时间协调本质.因此，我们建议只使用预测适合该数据的振荡，以避免偶然的假阳性结果，或在重新扭曲到差异时应用多次测试校正数据中的信号。为了实现假设驱动的扭曲，大脑时间工具箱计算了关于扭曲信号的各种信息——包括它们的时频特征、波形以及地形轮廓——允许用户决定哪个信号为大脑时间。

什么时候需要重新调整时钟和大脑的时间？

是否需要使用大脑时间扭曲或其他方法来重新调整取决于（1）时钟和大脑时间不协调的程度和（2）这种不和谐干扰分析的程度。前者取决于所使用的实验范式中所涉及的处理水平。再次以空间注意力研究为例，在移动的点的刺激被试的视网膜和他们的按下键表示运动方向时，发生了大量的皮层下和皮层处理。内部动力学早在丘脑甚至更早就开始协调刺激处理，而不和谐是这在更高水平的脑区中普遍存在，比如注意力和决策等的后期阶段信息已经通过了许多细胞环境中不同的振荡，各自拥有时间足迹。随着这些足迹的增加，时钟时间与大脑的时间就越来越不协调，最后失去了关于大脑动力学和它们提供的关于认知的信息的轨道，比如在哪里每个点发生感知，或者这些点的特征（如颜色）是否可用于工作记忆。因此，在时钟时间的扭曲效应中存在一个梯度，这取决于大脑皮层处理的程度。将分析限制在低水平的皮层下处理或非常早期的诱发电位的研究，恢复的好处相对较小，但对理解后期大脑模式却很重要，还有一个例外那就是－对于不依赖于神经特征的时间变化的分析，重新调整是不必要的。简而言之，很少有生理学研究免受时钟时间扭曲的影响，调整时钟和大脑时间是必要的，这取决于研究机制和依赖于大脑的内部动态所使用的分析。

大脑的时间不是单一的

“大脑时间”强调的是与大脑外部时间的不同，但并不是说大脑只有一个时间。相反，不同的认知过程是由不同的振荡组记录的，每个组都有自己的频率和信号源。大脑的时间类似于“地球时间”这样的概念，它与其他行星上的时间形成了对比，同时进一步分解成不同的时区。最后，本文认为大脑时间并不是指大脑中的计时，相反，它指的是大脑协调认知的广泛振荡，而时间认知是一个特定的例子。

结论

在研究大脑的功能时，与其把一个外在的时间单位强加给大脑，不如最好理解为大脑有自己的系统动力学和时间上的组织。大脑有节奏地运作依靠于大脑振荡。如果振荡确实通过计时大脑活动来协调认知，那么它们的动态应该在很大程度上告知我们如何研究进化的数据模式。相反，在默认的时钟中分析这些模式，时间格式很可能会产生一个扭曲的读数，因为大脑的内部动态不会线性地扩展到（毫）秒的序列。我们引入了脑时间扭曲作为一种解释大脑数据的不协调，动态地改变电生理学数据结构，使其与大脑动力学相一致。大脑时间工具箱实现了大脑时间扭曲，有助于动态分析大脑认知振荡。

数据获取

大脑时间工具箱的https:// github.com/sandervanbree/braintime，重分析数据在https://osf.io/bpexa/网站上获取。