开发语音脑机接口和语音神经假肢的颅内EEG数据
语言生成是一个涉及大量肌肉和认知过程的复杂功能,由于这是是人类特有的能力,所以语言产生背后的神经过程无法用动物实验来解析,而高保真度的人体数据只能通过临床环境获得,因此并非所有研究人员都能轻易获得。
来自荷兰的研究团队提供了一个数据集,补充了这方面的空缺,通过10名参与者读出单词同时测量总共1103个电极的颅内脑电图。这些数据覆盖了大量的大脑皮层和皮层下区域,具有较高的时间分辨率,能够帮助研究人员更好地理解语音产生过程。同时,这些数据还可用于测试语音解码和合成方法,用于开发语音脑机接口和语音神经假肢。
数据采集
每个参与者被植sEEG电极轴。每个电极轴包含5到18个电极触点。电极触点参照普通白质触点。一共采集了10名参与者的语言数据,在参与者大声说提示单词的同时记录音频和颅内EEG数据(iEEG)。
每个参与者在其自身解剖MRI表面重建中的电极位置。每个红色球体代表一个植入的电极通道。
语音神经数据采集实验设计
当参与者阅读笔记本电脑屏幕提示的荷兰语时,颅内脑电图和声学数据被同时记录下来。右侧轨迹代表30秒的iEEG、音频和刺激数据,iEEG痕迹中的颜色代表不同的电极轴。
所有参与者皮质和皮质下区域的电极接触数,不同颜色表示不同参与者。色条越长代表该区域内电极数量越多。电极主要位于颞上沟、海马和顶下回。
结果论证
声谱重建结果
对于所有参与者,线性回归方法能够从其神经数据中重建语音频谱图,且具有较高相关系数。在所有频率范围内始终高于所有随机数据。
原始(上)和重建(下)音频谱图
原始波形和重建波形之间的时间点非常吻合,但由于合成方法,损失了一部分音频质量。线性回归方法非常准确地捕捉了语音和沉默间隔,但忽略了语音内更精细的频谱动力学。
无论如何,该团队通过采集人类语音任务时丰富的颅内EEG信号提供了人类语音神经数据,且获得了较好的重建结果,这极大地方便了研究人员开发以语音解码为基础的BCI设备,扩展了BCI的发展方向,未来的工作可能指向以更先进的方式精确解码这些语音信号以实现高效准确的神经反馈。
参考文献:
Verwoert M, Ottenhoff M C, Goulis S, et al. Dataset of Speech Production in intracranial. Electroencephalography[J]. Scientific Data, 2022, 9(1): 1-9.
参考文献链接:
https://www.nature.com/articles/s41597-022-01542-9
仅用于学术分享,若侵权请留言,即时删侵!
相关文章
- 自定义FlowLayout,android flowLayout实现
- Ffmpeg编码实战!
- 空间转录组2022||空间数据反卷积RCTD分析:full mode on Visium hippocampus
- scMethBank:单细胞全基因组 DNA 甲基化图谱在线数据库
- android Fragment单页面加载,避免重复加载(懒加载)分析
- MySQL使用多因素身份认证
- MySQL全面的在线文档
- MySQL安装、升级篇——RPM
- C语言联合体(共用体)使用方法及大小计算
- 数据分享|R语言用主成分PCA、 逻辑回归、决策树、随机森林分析心脏病数据并高维可视化|附代码数据
- R语言广义线性模型(GLM)、全子集回归模型选择、检验分析全国风向气候数据|附代码数据
- GIS空间数据模型: 注记文本模型
- 地理空间索引实现:z 曲线、希尔伯特曲线、四叉树, 最邻近几何特征查询、范围查询
- flask + pyecharts 搭建新冠肺炎疫情数据可视化交互分析平台:包含疫情数据获取、态势感知、预测分析、舆情监测等任务
- ArcEngine + DevPress GIS二次开发:湖北疫情交互式数据分析、地图输出、专题可视化系统 具体实现
- 编译过程中的并行性优化(二):基本块与全局代码调度算法
- 地理空间数据库复习笔记:概论、关系模型与关系代数
- (本地无法连接MySQL服务器)ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)
- MySQL数据库时区错误,设置时区
- Redis实战11-实现优惠券秒杀下单