论文部分内容阅读
摘 要：情绪韵律在语言加工中有重要的作用。近年来，关于情绪韵律的研究主要是用一些行为和ERP实验来探讨关于情绪韵律在语言加工中的作用。我们认为，情绪韵律加工的大脑机制，主要是关于大脑两半球在情绪韵律加工中的作用。本文总结了情绪韵律加工的时间进程问题，并展望未来对于情绪韵律加工研究的一些方向。
关键词：情绪韵律 大脑机制 情绪语义 事件相关电位
韵律是语言的超音段特征，包括重音、时长、音调等几个方面。在人类的言语交流中，人们不仅可以通过口语的语言信息来获得所要传递的信息，理解说话人所要表达的情绪，而且还可以通过声音中的音高、时长、强度和基频等声学线索的变化来感知说话者的情绪状态，这些声学线索就叫做情绪韵律。在口语交流中，情绪韵律是人类情绪的重要表达方式之一。通过情绪韵律，可以判断一个人的情绪状态，因此，对情绪韵律的理解在日常生活中有很大作用。
一、情绪韵律的脑机制
情绪韵律的脑机制研究很多是用一些脑损伤病人做的研究。大量的研究发现，对于情绪韵律的加工主要是定位在大脑右半球。大脑右半球受到损伤，就会导致他们对外人情绪表达的识别出现困难。随着研究的发现表明，左半球也会对韵律进行加工。
Bryan（1989）实验发现，当音段信息减少，判断时对于语调提供信息的依赖性增强，右半球损伤的病人对其实验任务的完成远远差于左半球损伤的病人；当音段信息保留时，情况相反。这说明右半球主要负责相关句子层面语言的韵律加工。Robin（1990）发现左侧听觉皮层损伤的病人对于完成感知时间信息的实验任务完成较差，却能很好地完成涉及感知频谱信息的实验任务；右侧听觉皮层损伤的病人完成情况则相反。由于语音加工侧重于时间的分析，韵律加工侧重对频谱的分析，所以，语音加工具有左半球偏侧化，韵律加工具有右半球偏侧化。Liang（2004）对说汉语的左半球损伤的病人进行研究，发现该类病人的元音感知存在缺陷，但对词汇声调的感知完好。另外，Law（2001）对于说广东话的脑损伤病人的研究及刘丽等（2004）对普通话声调加工实验也都得到相似结论。
Marc D.Pell（2005）提出，左右两半球的损伤都会导致对韵律理解产生困难，但是他提出，右半球受到损伤，会导致更大程度上对于韵律刺激的情绪性特征的不敏感。也就是对于韵律特征的分析主要集中在右半球，然而左半球的损伤会导致对于语义和韵律信息的整合表征的解释出现困难。Marc D.Pell的实验中的被试是由于血栓阻塞而导致左右半球受到损伤的病人和配对的正常人。实验材料分为两种：一种是韵律声音，是一种没有语义内容的句子，分别用情绪语调读出材料。例如，用“高兴、悲伤”等语调读出来。第二种是语义/韵律声音，语义本身是有意义的，然后用与句意匹配的语调读出来，（例如，“我今天得了奖状”，与它一致的就是用高兴的语调把这个句子读出来）。所有的句子都用“高兴、惊奇、生气、厌恶和悲伤”五种情绪语调读出来。实验共设计了三种任务来研究脑损伤的人对于情绪韵律的识别。第一个任务是情绪辨别。这个任务中选用的实验材料就是单独的无意义内容的韵律。实验时，成对出现无意义词汇，让被试听30对实验材料（15对相同的，15对不同的）。被试判断是否相同，进行按键反应。第二个任务是命名任务，分为两组，一组是用无意义内容的词让被试按照情绪语调进行情绪命名。第二组是用有语义信息内容的词进行命名。第三个任务是情绪的等级评定。实验材料是一些纯音，就是无意义内容的材料，让被试先听一个情绪，在这个基础上，在六点等级量表上评定每一个情绪韵律的程度。最后分析得出左右两半球的损伤都会导致对韵律理解产生困难，但是右半球受到损伤，会导致更大程度上对韵律刺激的情绪性特征的不敏感。然而，左半球的损伤会导致对于语义和韵律信息的整合表征的解释出现困难。
最近，有的研究证据表明，与情绪相关的声学线索，如频率和时间信息具有不同的大脑单侧化，例如右半球损伤患者在加工情绪韵律信息时普遍地依赖于时间线索，而左半球损伤患者则更多地依赖于基频。换句话说就是，左半球似乎在更广的时间范围内加工韵律信息，因而能够觉察言语信息的快速变化，而右半球则特异化于音调加工（Schirmer，2004）。关于韵律加工的失语症，临床研究发现脑功能区主要涉及右半球皮层。
二、情绪韵律加工的进程
在情绪韵律的加工中主要涉及到了两个层次的韵律加工：韵律的情绪和语义的情绪。
韵律和语义都是口语声音中情绪信息重要的传递通道。人们在对口语信息加工的过程中，对语义情绪信息和韵律信息的加工，在时间上的关系进行了大量研究，经典的就是用情绪加工的Stroop效应这样的范式进行的，在Stroop效应研究中反映了情绪语义加工的自动性，情绪韵律也会引起不随意的加工偏向（Grandjean，et al.，2005）。
对韵律和情绪韵律语义的联合加工在大脑中有不同的反应，也就是说，对韵律信息的反应会出现不同的时间进程。Sike Paulmann在句子水平上对情绪韵律和情绪语义/韵律的联合加工的时间进程进行了研究，实验材料是通过cross-splicing这种方法来进行呈现的。结果发现，情绪性韵律的预期违反会引起一个独立于基本情绪韵律和朗读者声音的一个右偏转正走向的ERP成分。另外，综合的情绪性韵律/语义的预期违反会产生一个在整个头上分布的负波。实验材料是六种基本情绪（生气、害怕、厌恶、幸福、高兴、惊奇、悲伤）和中性情绪（分别30个句子），分别用了语义和韵律匹配刺激（210个词汇句子，210个假句子）。有两种实验条件，一种是韵律预期违反条件。我们把一个假句子的开始部分用中性的语调，第二部分也就是假句子末尾用情绪性韵律的语调来读（也就是每个句子都是由这两部分组成的）。第二种条件是语义和韵律结合的预期违反条件。把语义/韵律的句子用中性语调读出句子的开始部分和用与句子韵律相匹配的语调读出后半句。实验过程是让被试在一个声音实验室，距离电脑屏幕115厘米。句子通过耳机呈现出来，句子出现后会呈现出一个视觉刺激300ms，不管视觉探测单词是否在句子出现前呈现，被试都要尽可能快地做出反应——平衡按键的反应。用实验的进程系统来操控实验，分析韵律预期违反时，选择的是700ms到1000ms。结果发现，与匹配句子相比，所有的情绪性韵律不匹配句子在右半球电极中有一个正走向的ERP效果。结果也表明，只有由男性声音读出的不匹配生气的句子，才能对于不匹配句子引发一个双侧的正波。而语义韵律结合的预期违反，选择的是450ms到650ms，对加工的波形进行分析就会发现，由男性和女性读出的句子之间ERP振幅差异显著。而且，对于韵律和语义结合的不匹配的句子，表现出了整个头分布的负走向ERP效应。
对于情绪韵律的研究主要是韵律与语义情绪的加工过程。在这个过程中，以前对于情绪性韵律和情绪性语义的整合研究只是通过跨模型操作来进行，然而，这种方法不能反映不同信息类型的整合。通过cross-splicing这种方法的应用来研究不同信息类型的整合和跨时间的发展，能进行时间分析，能给予更多的直接整和的方法。目前研究的目标是证实和说明没有语义的情绪性韵律和有语义的情绪性韵律的综合的时间进程。同时也用来检测随着情绪效价的功能性或者说话者的性别的变化信息类型的预期违反。目前的实验结果证实了以前的ERP效应，而且也进一步说明了男性和女性使用六种基本情绪读出的假句子。这个结果表明在不同的时间进程中大脑有不同的反应：1.情绪性韵律预期没有实现；2.情绪性语义和情绪性韵律的预期没有实现。ERP效应在两个条件下产生，展示出了不同的时间进程、形态和极性。
对于语义情绪和韵律情绪内容的整合研究，未来的一些研究方向是要进一步来探讨其时间过程，而且在研究过程中要研究这种韵律加工在汉语中是否也会存在这种效果。汉语与英语或者其他外语有很大不同，属于不同的语系，所以对于外部效度的推广还有待提高。
参考文献：
[1]江爱世，陈煦海，杨玉芳.言语情绪韵律加工的时间进程[J].心
理科学进展，2009，（17）.
[2]于泽，韩玉昌，任桂琴.韵律在语言加工中的作用及其神经机制
[J].心理科学进展，2010，（18）.
[3]王穗苹，黄红清，吴烈坚.大脑两半球在语言加工中的作用[J].
华南师范大学学报（社会科学版），2005，（5）.
[4]杨洁，舒华.言语韵律加工的ERP研究[J].心理学探新，2009，
（2）.
[5]刘丽，彭聃龄.汉语普通话声调加工的右耳优势及其机理：一项
双耳分听的研究[J].心理学报，2004，（3）.
[6]Marc D.Pell.Cerebral mechanisms for understanding emotional
prosody in speech[J].Brain and Language，2006，（96）.
[7]Robin DA.Tranel D.Damasio H.Auditory perception of temporal
and spectral events in patients with focal left and right cerebral lesions[J].Brain and Language，1990，（39）.
[8]Liang J.van Heuven VJ.E.vidence for separate tonal and
segmental tiers in the lexicalspecification of words: A case study of a Brain-damaged Chinese speaker[J].Brain and Language，2004，（91）.
[9]Marc D.Pell.Cerebral mechanisms for understanding emotional
prosody in speech[J].Brain and Language，2006，（96）.
[10]Silke Paulmann.SonjaA.Kotz.An ERP investigation on the
temporaldynamicsof eprosody and emotional semantics in pseudo-and lexical-sentence context[J].Brain and Language，2008，（105）.
（贾丹丹 北京 首都师范大学心理系100048）
关键词：情绪韵律 大脑机制 情绪语义 事件相关电位
韵律是语言的超音段特征，包括重音、时长、音调等几个方面。在人类的言语交流中，人们不仅可以通过口语的语言信息来获得所要传递的信息，理解说话人所要表达的情绪，而且还可以通过声音中的音高、时长、强度和基频等声学线索的变化来感知说话者的情绪状态，这些声学线索就叫做情绪韵律。在口语交流中，情绪韵律是人类情绪的重要表达方式之一。通过情绪韵律，可以判断一个人的情绪状态，因此，对情绪韵律的理解在日常生活中有很大作用。
一、情绪韵律的脑机制
情绪韵律的脑机制研究很多是用一些脑损伤病人做的研究。大量的研究发现，对于情绪韵律的加工主要是定位在大脑右半球。大脑右半球受到损伤，就会导致他们对外人情绪表达的识别出现困难。随着研究的发现表明，左半球也会对韵律进行加工。
Bryan（1989）实验发现，当音段信息减少，判断时对于语调提供信息的依赖性增强，右半球损伤的病人对其实验任务的完成远远差于左半球损伤的病人；当音段信息保留时，情况相反。这说明右半球主要负责相关句子层面语言的韵律加工。Robin（1990）发现左侧听觉皮层损伤的病人对于完成感知时间信息的实验任务完成较差，却能很好地完成涉及感知频谱信息的实验任务；右侧听觉皮层损伤的病人完成情况则相反。由于语音加工侧重于时间的分析，韵律加工侧重对频谱的分析，所以，语音加工具有左半球偏侧化，韵律加工具有右半球偏侧化。Liang（2004）对说汉语的左半球损伤的病人进行研究，发现该类病人的元音感知存在缺陷，但对词汇声调的感知完好。另外，Law（2001）对于说广东话的脑损伤病人的研究及刘丽等（2004）对普通话声调加工实验也都得到相似结论。
Marc D.Pell（2005）提出，左右两半球的损伤都会导致对韵律理解产生困难，但是他提出，右半球受到损伤，会导致更大程度上对于韵律刺激的情绪性特征的不敏感。也就是对于韵律特征的分析主要集中在右半球，然而左半球的损伤会导致对于语义和韵律信息的整合表征的解释出现困难。Marc D.Pell的实验中的被试是由于血栓阻塞而导致左右半球受到损伤的病人和配对的正常人。实验材料分为两种：一种是韵律声音，是一种没有语义内容的句子，分别用情绪语调读出材料。例如，用“高兴、悲伤”等语调读出来。第二种是语义/韵律声音，语义本身是有意义的，然后用与句意匹配的语调读出来，（例如，“我今天得了奖状”，与它一致的就是用高兴的语调把这个句子读出来）。所有的句子都用“高兴、惊奇、生气、厌恶和悲伤”五种情绪语调读出来。实验共设计了三种任务来研究脑损伤的人对于情绪韵律的识别。第一个任务是情绪辨别。这个任务中选用的实验材料就是单独的无意义内容的韵律。实验时，成对出现无意义词汇，让被试听30对实验材料（15对相同的，15对不同的）。被试判断是否相同，进行按键反应。第二个任务是命名任务，分为两组，一组是用无意义内容的词让被试按照情绪语调进行情绪命名。第二组是用有语义信息内容的词进行命名。第三个任务是情绪的等级评定。实验材料是一些纯音，就是无意义内容的材料，让被试先听一个情绪，在这个基础上，在六点等级量表上评定每一个情绪韵律的程度。最后分析得出左右两半球的损伤都会导致对韵律理解产生困难，但是右半球受到损伤，会导致更大程度上对韵律刺激的情绪性特征的不敏感。然而，左半球的损伤会导致对于语义和韵律信息的整合表征的解释出现困难。
最近，有的研究证据表明，与情绪相关的声学线索，如频率和时间信息具有不同的大脑单侧化，例如右半球损伤患者在加工情绪韵律信息时普遍地依赖于时间线索，而左半球损伤患者则更多地依赖于基频。换句话说就是，左半球似乎在更广的时间范围内加工韵律信息，因而能够觉察言语信息的快速变化，而右半球则特异化于音调加工（Schirmer，2004）。关于韵律加工的失语症，临床研究发现脑功能区主要涉及右半球皮层。
二、情绪韵律加工的进程
在情绪韵律的加工中主要涉及到了两个层次的韵律加工：韵律的情绪和语义的情绪。
韵律和语义都是口语声音中情绪信息重要的传递通道。人们在对口语信息加工的过程中，对语义情绪信息和韵律信息的加工，在时间上的关系进行了大量研究，经典的就是用情绪加工的Stroop效应这样的范式进行的，在Stroop效应研究中反映了情绪语义加工的自动性，情绪韵律也会引起不随意的加工偏向（Grandjean，et al.，2005）。
对韵律和情绪韵律语义的联合加工在大脑中有不同的反应，也就是说，对韵律信息的反应会出现不同的时间进程。Sike Paulmann在句子水平上对情绪韵律和情绪语义/韵律的联合加工的时间进程进行了研究，实验材料是通过cross-splicing这种方法来进行呈现的。结果发现，情绪性韵律的预期违反会引起一个独立于基本情绪韵律和朗读者声音的一个右偏转正走向的ERP成分。另外，综合的情绪性韵律/语义的预期违反会产生一个在整个头上分布的负波。实验材料是六种基本情绪（生气、害怕、厌恶、幸福、高兴、惊奇、悲伤）和中性情绪（分别30个句子），分别用了语义和韵律匹配刺激（210个词汇句子，210个假句子）。有两种实验条件，一种是韵律预期违反条件。我们把一个假句子的开始部分用中性的语调，第二部分也就是假句子末尾用情绪性韵律的语调来读（也就是每个句子都是由这两部分组成的）。第二种条件是语义和韵律结合的预期违反条件。把语义/韵律的句子用中性语调读出句子的开始部分和用与句子韵律相匹配的语调读出后半句。实验过程是让被试在一个声音实验室，距离电脑屏幕115厘米。句子通过耳机呈现出来，句子出现后会呈现出一个视觉刺激300ms，不管视觉探测单词是否在句子出现前呈现，被试都要尽可能快地做出反应——平衡按键的反应。用实验的进程系统来操控实验，分析韵律预期违反时，选择的是700ms到1000ms。结果发现，与匹配句子相比，所有的情绪性韵律不匹配句子在右半球电极中有一个正走向的ERP效果。结果也表明，只有由男性声音读出的不匹配生气的句子，才能对于不匹配句子引发一个双侧的正波。而语义韵律结合的预期违反，选择的是450ms到650ms，对加工的波形进行分析就会发现，由男性和女性读出的句子之间ERP振幅差异显著。而且，对于韵律和语义结合的不匹配的句子，表现出了整个头分布的负走向ERP效应。
对于情绪韵律的研究主要是韵律与语义情绪的加工过程。在这个过程中，以前对于情绪性韵律和情绪性语义的整合研究只是通过跨模型操作来进行，然而，这种方法不能反映不同信息类型的整合。通过cross-splicing这种方法的应用来研究不同信息类型的整合和跨时间的发展，能进行时间分析，能给予更多的直接整和的方法。目前研究的目标是证实和说明没有语义的情绪性韵律和有语义的情绪性韵律的综合的时间进程。同时也用来检测随着情绪效价的功能性或者说话者的性别的变化信息类型的预期违反。目前的实验结果证实了以前的ERP效应，而且也进一步说明了男性和女性使用六种基本情绪读出的假句子。这个结果表明在不同的时间进程中大脑有不同的反应：1.情绪性韵律预期没有实现；2.情绪性语义和情绪性韵律的预期没有实现。ERP效应在两个条件下产生，展示出了不同的时间进程、形态和极性。
对于语义情绪和韵律情绪内容的整合研究，未来的一些研究方向是要进一步来探讨其时间过程，而且在研究过程中要研究这种韵律加工在汉语中是否也会存在这种效果。汉语与英语或者其他外语有很大不同，属于不同的语系，所以对于外部效度的推广还有待提高。
参考文献：
[1]江爱世，陈煦海，杨玉芳.言语情绪韵律加工的时间进程[J].心
理科学进展，2009，（17）.
[2]于泽，韩玉昌，任桂琴.韵律在语言加工中的作用及其神经机制
[J].心理科学进展，2010，（18）.
[3]王穗苹，黄红清，吴烈坚.大脑两半球在语言加工中的作用[J].
华南师范大学学报（社会科学版），2005，（5）.
[4]杨洁，舒华.言语韵律加工的ERP研究[J].心理学探新，2009，
（2）.
[5]刘丽，彭聃龄.汉语普通话声调加工的右耳优势及其机理：一项
双耳分听的研究[J].心理学报，2004，（3）.
[6]Marc D.Pell.Cerebral mechanisms for understanding emotional
prosody in speech[J].Brain and Language，2006，（96）.
[7]Robin DA.Tranel D.Damasio H.Auditory perception of temporal
and spectral events in patients with focal left and right cerebral lesions[J].Brain and Language，1990，（39）.
[8]Liang J.van Heuven VJ.E.vidence for separate tonal and
segmental tiers in the lexicalspecification of words: A case study of a Brain-damaged Chinese speaker[J].Brain and Language，2004，（91）.
[9]Marc D.Pell.Cerebral mechanisms for understanding emotional
prosody in speech[J].Brain and Language，2006，（96）.
[10]Silke Paulmann.SonjaA.Kotz.An ERP investigation on the
temporaldynamicsof eprosody and emotional semantics in pseudo-and lexical-sentence context[J].Brain and Language，2008，（105）.
（贾丹丹 北京 首都师范大学心理系100048）