传统的认知科学认为身心是两个独立的系统，然而，体验认知（Embodied Cognition）理论的出现否定了这种割裂身体和认知的二元认知观。越来越多的实证研究证据表明：感觉与动觉的体验包含于认知的过程中，我们的身体不仅是认知的感受器和传导器，也是认知形成过程中的一部分。现实生活中的语言交流很少依靠单一的听说模态，而是整合了视觉、动觉、触觉等多重模态，故而语言学习在本质上也应是多模态的。因此多模态教学鼓励将不同的感官模态整合起来，而不是像传统的外语教学那样过度地依赖听说。

　　多模态教学充分结合身体和认知。“体验认知”或“体验学习范式”在二语语音训练中基于这样的理论框架：语言的韵律（节奏、重音、句调等）在语音和语用层面都与手势等身体动作紧密联系在一起，故而善用身体和话语的结合可有效地促进语音的学习。多模态语音教学拥有广泛的认知资源可供调动，例如图式化的语音频谱及音高曲线（视觉）、手势（动觉）、触摸（触觉）等。其中，手势由于整合了视觉和动觉信息且不需要设计专门的教具而在实践中有着广泛的应用。在研究实践中，视觉化的语音信息需要计算机辅助教学，对教学设备有要求却对动觉系统的参与度要求不高，因而不少学者将其作为单独的研究分支，而体验认知框架下的多模态教学一般使用手势、触摸等由动觉系统参与的教学策略。

　　由于身体和认知的关系是密不可分的，而话语是认知最重要的表达工具，在身体动觉系统支配下产生的手势则出现在了话语、认知和运动感官的交界点上。于是，人的手势和语言在同一认知体系下，共享同一套交流系统。因此，手势在个体的认知发展和语言学习中发挥着不可忽视的作用。对此，有不少学者提出了一系列模型和假说来解释手势在语言处理、认知和学习中的作用。

　　在话语产出方面，R. Krauss等人于2000年建立了“lexical gesture process model”，认为使用手势可帮助词汇提取，从而有利于话语产出。2003年，S. Kita和A. ?魻zyürek提出了“Interface Hypothesis”，该假说认为手势可以帮助说话人组织话语中蕴含的空间信息，进而优化话语产出。2017年，Kita等人将该假说推广为“Gesture-for-Conceptualization Hypothesis”， 认为所有的象征性（iconic）手势都有意义，都有利于语言和思维活动，因为象征性手势可以将信息进行图式化（schematize），方便人们形成概念（conceptualization）。

　　在话语感知方面，J. P. de Ruiter于2017年提出了“Asymmetric Redundancy Hypothesis”。该假说认为手势为语言交流提供了额外的视觉信息，这些视觉信息可辅助交谈双方感知和理解对话，故而手势不仅辅助交际，还可提升交际质量。

　　在认知和学习方面，多数研究认为手势可减少认知负担，有意义的手势可显著降低对工作记忆的占用、减轻认知压力进而巩固知识记忆。当然，也有研究表明过度使用手势会传递冗余信息从而加重学生的认知负担，带来负面的学习效应。这提示我们在多模态教学中，对学生的感官刺激应秉持适度、实用的原则。基于上述认识，多模态教学充分地将身体和认知结合起来，最大限度地发挥了体验认知在教学过程中的作用。

　　多模态教学对外语语音学习有积极作用。具体到外语语音学习上来，按照学习对象的性质可分为音段层面的教学和韵律层面的教学。在多模态教学的框架下常用以下手段将身体动觉感官与认知相联系，并已有大量实证研究证据表明其有效性。第一，以敲打的手势（beat gesture）与语流中被凸显的部分同现，来改善外语学习者的口音并辅助单词记忆。第二，使用手势来描摹音高特征（比如用手向右上方划表示升调）来帮助声调和句调的学习。第三，使用水平移动的手势来描摹音长特征，此举可用来教授长元音的发音。第四，使用拍手的方式来拟合语言的韵律特点，使学生的话语产出更加符合目的语的韵律节奏，从而提高整体发音质量。除了韵律，已有研究表明，打拍子对于掌握音拍等时性（Mora-timed）语言（如日语）和音节等时性（Syllable-timed）语言（如法语）的长音有帮助作用。近来也有研究引导学生用脚踩节拍或手指击打桌面的方式来拟合目的语的节奏特征，并取得了积极的训练效果。

　　此外，还有研究在动觉信息的基础上添加了音乐和旋律，来辅助青少年或儿童学习新单词的发音。这个方法已经被证明不仅能够有效帮助学生记忆新单词，习得的单词发音也比通过传统教学法习得的发音更准确。

　　在音段音位方面，目前的研究尚处于初步阶段，主要集中于对具体发音特征的偏误纠正。比如将紧握的拳头迅速打开以描摹送气音除阻时的强烈气流；将手指拢成圈来提示发圆唇音时嘴唇的形状；用手开合的程度来提示元音开口度的大小等。

　　此外，使用指示性（deictic）手势来引导学生观察老师的口型、发音器官的移动及明显的调音动作（如双唇音、唇齿音和齿间音）被证实简单易用且效果显著。

　　除特定的手势外，触觉信息亦可帮助学生掌握发音特征。典型的如用手指感受舌尖放在齿间的状态来训练齿间音的发音，将手放在声带附近感受浊辅音发音时的声带振动，将手放在嘴唇前方感受送气音的气流等。需要指出的是，在音段层面，上述多模态教学手段可以较好地提高学生的发音能力，但对感知能力的提高作用有限。

　　发掘多模态语音教学的应用前景。不难看出，多模态语音教学拥有广阔的应用前景。在已有的研究基础上，试举例如下。

　　既有的研究已从多方面证实多模态教学在单词和句子发音上的积极作用，实践中可尝试将其推广到会话层面。由于语音教学的最终目的是培养学生使用目的语在会话层面自主产出的能力，而时下流行的交际型教学法并不以发音偏误纠正为重点。未来的课堂中可尝试将多模态语音教学法与交际型教学法相结合，以期取得加成效应。

　　音段音位和韵律特征存在相互制约的关系，现在已有零星的研究表明针对韵律的训练可能对音段音位的习得起到帮助作用。而二语习得领域的元分析数据表明，“内隐训练”（implicit training）在保持学生自主口语产出能力的稳定性上有一定的优势。让身体参与到韵律特征的习得中，以期提高整体发音水平和音段音位的发音准确性即属内隐训练的一种应用场景。

　　在中小学外语教学方面，多模态教学法值得推广。越来越多的小语种已经进入中小学课堂，对儿童青少年来说，传统的听说训练法不仅枯燥且低效；对学校来说，既往在英语课堂上积累的语音训练经验未必能迁移到其他外语的课堂上。而多模态语音教学不仅生动有趣，且在小语种的音系习得中已经取得了不少研究成果，可供参照。

　　多模态语音教学法在汉语语音教学中的应用尚有空白可填补。目前该领域仅见对声调和送气音的习得研究，但实际上对外汉语中存在大量的音段和韵律现象，对海外汉语学习者而言颇具难度，这些都可纳入多模态语音教学的研究范畴。教师可根据已有的研究来设计多模态教学方案，并逐步尝试进行实证研究以定量评估各种教学方案的优劣。鉴于海外庞大的汉语学习人群，该课题拥有较好的应用前景。

　　终端的实证研究较多，理论总结较少。由于该领域较新，多数研究尚处于提出假设—验证假设—得出具体结论的阶段，在解决具体问题时卓有成效，但尚未见到系统的研究回顾，更没有元分析来量化比对各种训练方法的效应量并归纳出理论模型。这或将成为未来几年的一个重点课题。

　　除了传统的评估手段，不少实验室已经开始引入神经科学的手段，包括事件相关电位（event related potential，ERP）、脑电图、眼动仪等。从心理学和心理语言学的角度来探明多模态教学对语音习得的影响势在必行，这方面的研究将会推动教学研究的发展。

　　（作者单位：西班牙庞培法布拉大学翻译与语言学系）