自古以来人类的生活就离不开信息的传播和交流,人类的语言正是在这种需求下产生的。语言承载着传递信息的使命。根据最经典言语链,我们在交流过程中存在这样一个过程,当我们开始交谈时,首先我们要确定谈论的内容,并准确的传达信息。这个过程发生在我们的大脑中,被称为语言水平。随着语言水平的完成,我们的大脑将信息发送到语音产生器官以产生语音。由发音器产生语音的过程被称为语音链的生理层次。语音链的下一个层次是声学层次。它描述了从说者的嘴到听者的耳朵传播声音的物理特性。当声波向听众的耳朵施加压力时,听力机制将被激活,我们称之为声学层次。该声学层次以语音链的语音层次结束,听众的大脑在这里理解讲话者发送的信息。在言语链中还存在另一条回路,即说话者通过感知反馈,监听自己的言语生成过程的一条通路。整体来说,言语链是连接说话者和听话者的纽带,将讲话人和受话人的交流过程从言语学、生理学、声学三个层次密切的整合在一起。一直以来人类都有对言语链中大脑的言语认知功能进行探究。近些年来,随着人工智能的发展,对脑的言语认知研究有了更迫切的需要。自上世纪80年代,随着脑功能成像技术的发展研究领域大大拓宽,可以以正常人为对象探究各种语言任务大脑的活动模式。其中具有高空间分辨率的脑功能磁共振成像（functional Magnetic Resonance Imaging,f MRI）技术可实现特定任务下的大脑区域活动定位。f MRI是一种特殊的磁共振成像（Magnetic Resonance Imaging,MRI）扫描,用来测量大脑或脊髓的神经活动相关的血氧反应。f MRI技术空间分辨率极高达到1-2毫米,可以精细地提供大脑各个区域的状况。但是我们知道大脑能在一瞬间完成一系列任务,f MRI虽然有极高的空间分辨率达到1-2毫米但是时间分辨率不高,无法监测大脑的动态加工过程。EEG是另一种常用的探究大脑机制的技术。EEG记录头皮电随时间反应变化,包含有关神经活动的丰富信息,并且时间分辨率达到1-2毫秒甚至更低的采集频率。这两种方法在时间和空间特性上各有其优劣。大脑活动特性除了复杂的空间结构和快速的动态时间性特性外,越来越多研究表明大脑通过频率同步各个脑区去完成同一个认知任务是一个网络现象。但是由于技术的局限性和大脑认知复杂性,我们通常无法同时从时间,空间,频率三个维度去探究大脑的复杂活动。因此言语的神经机制过程仍然是不清楚的,探究这一个高度复杂的过程仍是一个极具挑战的目标。在语言学中,语言是由小的元素根据语法系统组合成更大的结构,从而形成语言单位的层次结构,如音节,词汇、短语和句子。日常生活交流中,从音节的几百毫秒到句子的几秒钟,听者必须构建一个不同大小的语言结构层次。其中感知一个句子,音节是听觉可以区分的语音结构的基本单位,词汇是语义的最小单元,短语则是语法构建成句子的最小单元。本文根据语言学的外界分块的时间线索探讨了句子听觉感知的动态功能网络的交互模式。它主要利用具有高时间分辨率EEG技术来测量句子听力任务中多通道脑电信号并结合具有高空间分辨率的f MRI数据库来弥补空间缺陷。此外,本研究在听力任务中使用句子而不是词汇来更好地模拟连续语音的发音过程,从而探索更多的功能性网络（如句法处理）。本文阐明句子听力过程中涉及到的工作记忆,语义网络,语法网络,韵律网络在神经震荡调制下和抽象语言结构（音节,词汇,短语,句子）的时间进程隐式边界的关系映射。针对上述目标本文创新性的提出了一个概念模型,首先本研究使用EEG技术获取句子听觉感知任务中的脑电信号,然后构建EEG数据的动态时频网络,于此同时从f MRI功能网络数据库中提取出四个与句子感知任务相关的静态网络模版并将其转换成功能连接矩阵。随后将f MRI功能连接矩阵作为一个空间滤波器把动态的EEG有效信号中的语义,语法,韵律,工作记忆的时频特性提取出来后进行进一步的分析。最后本研究通过两个标准对分析结果进行评价,第一个是通过听力刺激的语法层级结构对时频结果进行评价,第二个是基于言语感知的先前研究和证据对结果进行解释和对比。首先我们对EEG数据进行获取,十六个来自天津大学的学生被招募,其中包括8位男性和8位女性,年龄在21至28岁之间,平均年龄为23.9。所有的受试者的听力正常,并且母语均为中文。在实验前的一周内,所有受试者没有过服用神经源性药物。并且没有神经系统或重大的医学疾病。在实验开始之前,在自愿的基础上所有受试者均签署了实验的知情同意书并在实验后获得一定的报酬,该实验获得当地伦理委员会的批准。本研究的实验材料包括180个句子的听觉录音,这些句子有相同的语法结构,为了避免学习效应,我们使用60*3的模式并人为的打乱句子。所有的听力材料均由一名母语为普通话的男性录音员在专业的录音屏蔽室内进行的录音。每个句子平均录音时长为4500毫秒。录制时,音频采样速率为44100Hz。EEG数据采集完成后首先将原始的EEG数据下采样到250Hz并且进行1到50Hz的带通滤波,移除坏道后对数据进行重参考。然后将连续的数据分成180段,每段的范围是从-1000ms到5000ms。每个句子出现的开始时间前1000ms为基线。本研究应用了独立成分分析的方法（Independent Component Analysis,ICA）和边界元方法（Boundary Element Method,BEM）将EEG的头皮层数据从通道基转化为成分基,进而我们从其他生物伪迹（肌肉运动,心脏跳动的干扰信号）中选出与任务相关的大脑成分。对所选有效大脑成分计算部分定向相干性来量化在多变量自适应自回归（Multiple Auto-regression,MVAR）模型中通过特定频段的皮层区域之间的不对称因果相互作用,从而得到正在进行认知过程的大脑联通矩阵的变化结果。最后我们对涉及到的脑区在每个时间点和每个频段值计算连接强度来构建大脑动态网络。所有的上述操作都是在EEGLAB工具箱被执行。所有被试的大脑动态网络构建完成之后,考虑到每个被试定位的脑成分的坐标和数量不同,本文有必要对每个被试的连接结果进行统计分析,以减少个体受试者之间的差异并使得大脑网络结果具有普遍有效性。高斯平滑方法用于扩展同一簇中不同被试的成分,这些成分之间存在重叠的大脑区域,通过计算重叠率重新定义基于该簇的源成分,然后使用T检验方法对结果进行统计分析。统计结果显示两个半球都参与了语音感知,其中默认大脑网络有明显的激活,其组成的大脑区域有后扣带回,楔形前叶和额叶内侧前叶。默认网络在这里主要负责的是空间关注和状态记忆。工作记忆网络主要是由枕叶,后颞中叶和顶叶组成。它充当了感知输入和长期记忆之间的中介缓冲。句法网络主要是由Broca的区和颞叶组成,它主要用于识别词类和构建句法结构。语义网络主要集中在上颞叶,中颞叶和后颞叶以及Broca区。该网络主要用于词义理解。韵律网络主要包括腹侧前颞叶,它通常用于帮助分割句法。虽然上述脑区和和语音感知的双流模型结果一致,但是这只是一个静态过程,需要进一步分析以探索动态时频特性。在这之间先具体介绍下参与句子处理的工作记忆网络,语义网络,句法网络和韵律网络。语音信息的编码,存储和集成需要在工作记忆进行。众所周知,工作记忆的容量是有限的。先前的实验和计算机模拟研究已经发现,语音理解中的信息处理量远远超过了工作记忆的容量极限。所以我们无法使用传统的工作记忆容量来解释语音处理过程。正如MUC模型所说,长期记忆在语音处理中也起着至关重要的作用。语音处理需要使用当前信号作为线索来提取存储在长期记忆中的句法,语义,韵律和其他语音信息,以便理解或生成语音。目前,研究人员普遍认为,工作记忆在感知输入和长期记忆中起着工作空间的作用。语言理解涉及词汇语义信息和句法信息。其中,词汇是构成句子的最小意义的单位。句子的理解是基于对单个单词含义的正确理解。感知输入和语义表征的映射主要包含双边上/中颞区。句法处理中首先是对句法结构的建立。换句话说,如果句法结构构建得不好,人们在理解句子时会遇到很大的处理困难,句法处理是一个渐进的过程。通常,我们先判断新单词的词性,然后将它们整合到以前的句法结构中。许多研究语法分析的大脑基础的研究都涉及左下额叶皮层BA44和/或45,以及颞叶皮层,即颞上回或中颞回。韵律是进行社交互动的重要信息,其中包括传达对话的信息结构以及说话人的情感和意图的节奏和旋律转换。长期以来,语音感知研究一直在寻求韵律感知的神经机制。目前,通过听觉整合的感觉处理发现额颞叶皮质和皮质下灰质结构与韵律有关。本文基于人脑的功能形态和连接地图的f MRI数据库提取了上述四个静态功能网络。目的是为了探索在听力任务中与语音感知相关的大脑活动的变化。本文从数据库中提取与任务相关的工作记忆,语义处理,句法处理和韵律处理网络,并为这些功能网络构建功能邻接矩阵。同时,构建了包括时间,频率和空间在内的脑电动态连接矩阵。然后,我们使用基于皮尔逊相关系数的空间相关分析方法来量化大脑空间状态在时间和频率上的相似性。我们计算了脑电数据所有时间和频率窗口的大脑活动矩阵与四个功能磁共振成像大脑静态功能网络状态之间的相关性。然后得到空间相关性分析的时频结果。最后工作记忆网络的时频特性结果显示theta,beta和gamma均参与了工作记忆网络,在theta波段大脑的活动基本上与听力刺激音节边界一致表明了对音节的处理。并在更高gamma的频率范围内处理更频繁更详细的信息。传统上,通常认为工作记忆具有编码,存储和整合言语信息的能力。但是工作内存的容量是有限的。先前的实验研究发现,口语理解中的信息处理量远远超过了工作记忆的容量极限。本研究不能使用传统工作记忆的容量来解释语音处理过程。长期记忆在语音处理中起着至关重要的作用。在时频特性结果中,可以看到仅存在音节边界,而没有句法边界。这印证了工作记忆的概念模型,工作记忆主要是将韵律存储在工作空间中,在进行与语音感知相关的任务时,感知到的韵律信息被输入到长期记忆中。工作记忆的工作方式是theta频段存储音节信息,以用于听觉重述任务中的后续发音,Beta和gamma通过交叉频率耦合加载到theta载波上,可将语音解析为具有更高频段的语义项以进行详细的信息处理。在语义处理阶段,此处语义处理是指的词汇含义的语义处理。语义处理结果的时频特性表明,在alpha和beta波段的大脑活动与词汇边界具有一致性。Alpha和Beta一直与注意力和长期记忆联系在一起。人类alpha振荡的调节伴随着许多认知过程,但目前它们在听觉感知中的功能尚不清楚。近年来,人们开始关注,alpha和beta在语音理解中的作用。此结果表明,alpha和beta同步参与了语义处理。在语言层次结构中,alpha和beta同步使用词汇单位映射单词和含义。语音感知中的句法处理通常被认为是单词类别的识别和自下而上句法结构的构建。但是同时也具有自上而下的预测过程。通过对新输入词汇的类型的识别可以预测大脑的内在机制中的句法结构。对听觉刺激的句法层次分析,我们可以发现在delta和theta波段中将单词分块为句法短语,并在alpha波段中进行逐字处理,表明语义理解也涉及句法处理与听觉刺激一致。目前,有两种证据表明词汇是如何被整合到短语中的。首先是单个单词在左前颞叶区域执行单词含义处理,然后将单个单词整合到腹侧前额叶皮层中的短语中。另一种是大脑在进行句法和语义整合时具有平行的双重途径。腹侧通路支持单词的语义过程,而背侧通路支持语法过程。本研究的感兴趣区域的解剖统计结果显示没有腹侧前额叶皮层活动。并且从传统的角度来看已经有大量研究表明,Broca区参与了句法加工。此外,在时频特性相似性结果中,语义处理和句法处理都表明在alpha波段中没有明显的词汇边界时间顺序,因此解剖统计结果和时频特征结果均支持句法和语义的双流模型。韵律网络的时频特性结果表明,句法处理和韵律处理的短语边界相似都出现在delta和theta波段中,韵律是人类语言在外化为语音时的典型特征,它具有跨语言的特征,例如音调,压力,停顿等,广泛存在于不同的语言中,包括语音节奏和情感节奏。本文在这里只讨论语音节奏。一般认为语音韵律在一定程度上反映了语音的语法结构并受其影响,这在本研究结果中也得到了证实。为了研究涉及语音处理的大脑动态网络活动,本文采集了具有高时间分辨率的脑电数据,并通过将脑电网络分析方法与具有高空间分辨率的功能磁共振成像的静态功能网络相结合来进行探索。基于听力刺激中句子的层次结构,研究了涉及句子处理的工作记忆网络,语义网络,句法网络和韵律网络的时频特性。结果发现,语音感知是在神经生理水平上以分层方式进行的,这与语言学上语言分层结构相符。大脑是基于语言单元的不同时间跨度的不同频带的解析能力来实现这种分层处理。其中,工作记忆主要通过theta波段来作为听觉输入存储音节信息。语义网络主要由alpha和beta波段对单个词汇的意义进行处理。句法网络主要由delta和theta波段对以短语为单位句法信息进行建构。韵律网络主要是delta和theta波段同样以短语为单位进行韵律信息的构建,以帮助分割句法结构的边界。