用手说话？ 你也可以和它们一起思考

人类是如果理解词语的？词语的表达以及它在我们大脑中形成的印象往往不是单独的，它还和一系列其他词语共同构成意义；例如，“杯子”可以是一个容器，由玻璃制成，用于“饮用”。然而，只有当我们意识到要用杯子喝水，这个过程包含了我们要用手拿着它，然后把它送到嘴边；或者知道如果我们不小心把杯子掉在地上，它就会砸碎，只有对它有一整套的生活化关联理解，我们才能正确是用被子。而这些程序如果不被机器人了解学习，就很难创造出一个能够真正处理杯子的机器人。在人工智能研究中，这些问题被称为符号接地问题，即将符号映射到真实世界网络。

目前科学家们还不完全了解当我们大脑中突然出现一个词语时大脑以及身体发生了什么变化。而人类是如何实现符号接地的？认知心理学和认知科学提出了体验认知的概念，即物体的意义实际是通过与身体和环境的互动被赋予的。由大阪市立大学可持续系统科学研究生院的Shogo Makioka教授领导的一个研究小组想要解释体验认知的过程，即人们通过与物体的互动方式来理解物体的意义，研究人员通过限制参与者与物体互动的方式，观察大脑对词语的语义处理，从而揭示我们对物体理解的过程，这篇论文发表在《Scientific reports》上。

为了测试体验认知过程，研究人员进行了实验，对比参与者的手可以自由移动时与被束缚时其大脑对描述可以用手操纵的物体的词语反应有何不同。建立一种测量和分析大脑活动的方法是非常困难的。第一作者Sae Onishi女士坚持不懈地工作，设计出了一种行为范式，在这种范式下，科学家们能够准确地测量大脑活动并对其进行分析。

在实验中，“杯子”和“扫帚”这样的两个词呈现在参与者面前的屏幕中参与者。大脑活动是用功能近红外光谱仪（fNIRS）测量的，该测试方法基于神经血管耦合性通过大脑血液动力学的变化来反应神经活动，它最大的优点是无需施加进一步的物理限制即可进行测量，能够给参与者提供最大程度的自由度，降低了实验中由于束缚产生的干扰。测量的重点是左脑的顶间沟和下顶叶（边上回和角回），这两个脑区负责与工具有关的语义处理。参与者被要求自主比较这些词所代表的物体的相对大小，并口头回答哪个物体更大，正常情况下是“扫帚”。在测试过程中，参与者将他们的手放在一张桌子上，在那里他们可以自由地或被一块透明的亚克力板限制住。当这两个词出现在屏幕上时，为了回答哪一个代表更大的物体，参与者需要想到这两个物体并比较它们的大小，迫使他们处理每个词的含义。

在描述两类物体的词语之间进行比较，这两类物体分别是手可操纵的物体，如 "杯子 "或"扫帚"，以及不可操纵的物体，如 “建筑物”或 “灯柱”，观察参与者在手部束缚不同条件下对每一类物体的处理情况。其中口头反应的速度被测量，以确定被试者在屏幕上出现词语后回答的速度。

当被问及哪个词代表更大的物体时，参与者的手松开时(左手)比手被束缚时(右手)回答得更快。当大脑左侧与工具相关的区域处理与手可操作的物体相关的词语时，抑制双手也会降低大脑的活动。图源: Makioka, Osaka Metropolitan University

结果

参与者在执行大小判断任务时的血流动力学活动。血流动力学活动测试位于AIP (IPS前部)， CIP (IPS尾部)，边缘上回(SMG, BA 40)和角回(AG, BA 39)。

结果显示，对于手可操纵的物体，左脑的反应活动因手的束缚而明显减少， 这说明对物体词语的反应也受到手部约束的影响。这支持了体验认知的观点。该研究中首次表明，手的运动限制抑制了大脑对手可操作物体的活动，并影响了语义处理的反应速度。未来的研究可以进一步考察身体约束对大脑语义处理网络中信息流动的影响。总之这些结果表明，体验认知的理念也可以有效地用于人工智能学习物体的意义。

参考

https://medicalxpress.com/news/2022-09-talk-with-your-hands-you.html

Hand constraint reduces brain activity and affects the speed of verbal responses on semantic tasks

仅用于学术交流，若有侵权及疑问，请后台留言，管理员即时删侵！