人脑是自然界中最复杂、最高效的信息处理系统,探索人脑信息处理的过程是脑认知研究的核心内容。由于单个神经元或单一脑区不能实现脑的高级功能,因此从不同感官之间在脑中的信息整合机制,揭示脑对神经信息的处理机制是非常必要的。彻底揭开人类的听觉、视觉以及视听等跨通道跨模态的认知机制和如何建立其有效可行的数学模型,是自然科学、认知科学和计算机科学面临的极大挑战之一。论文主要研究不同模态之间的信息整合及学习和记忆机制问题,尤其是视觉和听觉的信息整合问题。本文的主要创新点主要包括三个方面工作。首先,根据人脑在对象感知层次上,要把各种通道获得过来的信号进行处理,剔除冗余特征处理过程,提出了一种能够提取相同信号不同样本的最相似特征的方法。其次,深入了解了大脑对多模式感知信息的处理、学习和记忆机制,根据人脑的记忆连接模型,提出了基于矩阵融合乘积的视听信息融合方法。最后,根据人脑中不同信息分层分区处理的机制,利用径向基神经网络,建立了脑的信息学习和记忆的三层立体网络结构。采用上述方法和模型,对视听信息进行了模拟人脑学习和记忆的数据实验和模拟唇读的数据实验。实验结果表明,基于人脑认知的多感知信息融合的计算模型和学习记忆网络结构模型能够初步的模拟人脑的视听信息的学习和记忆,并能在识别率上取得良好的效果。