随着信息技术的不断发展,计算机视觉、机器学习、模式识别等领域的研究不断进步,物体识别与分类作为其中基本且常见的问题,更被广泛研究,并在各个应用领域普及,逐渐渗入进人们的日常生活中。常见的物体识别与分类研究都是基于视觉一种模态上的研究,而在现实世界中,人们不止用眼睛去感知识别外界事物,还会通过触觉,嗅觉等去感知识别。相应的,在模式识别领域,用物体图像信息作为人们眼睛接收到的信息,用触觉信息作为人们触摸事物接收到的信息,用计算机模拟人们的大脑,对接收到的不同信息进行处理和分析,进而正确的对物体完成识别和分类任务。近年来,多模态与机器视觉的课题被广泛研究,很多的研究成果验证了多模态融合在不同的领域较单模态性能都有明显的提升。但是多模态融合课题在模式识别领域的研究上还有很大的空间,使计算机通过学习不同的模态信息并将之融合用于物体识别与分类具有重要的研究意义。深度学习作为研究人工智能的一个重要方法被广泛研究。近几年卷积神经网络(CNN)以其局部感知及自学习等优势在机器学习、模式识别领域成果显著。但是该算法效果好的同时也需要较大的运行内存,且时间消耗大。2015年提出的基于局部感受野的极限学习机算法(ELM-LRF),不仅训练速度快而且通过局部感受野提取特征使得算法在图像领域有很好的表现。但是ELM-LRF算法是在ELM基础上的扩展研究,仍是一种批量算法,训练过程需要所有的数据一起训练,无法单纯的更新训练新数据。在实际应用中,数据通常都是在动态实时更新变化的,随着数据量的递增,批量算法的的研究将不再适用,训练时间会大大增加,而且ELM-LRF算法中局部感受野大小是单一固定的,对复杂图像的特征提取也有待改进。在线序列极限学习机(OSELM)具有ELM速度快、泛化能力强的优点,还可以随着新数据的到来不断更新训练模型,而不需要使用所有的数据进行再训练。在实际应用中具有更好的适用性。本文以OSELM为基础,引入多尺度的ELM-LRF(ELM-MSLRF)在图像领域做进一步的研究。首先进行多模态融合研究,并将研究算法在表面材质分类数据集上进行验证。后考虑到OSELM中输入权重随机生成,算法结果可能不是最优且随机权重会造成算法结果不稳定,所以本文在寻找最优权重方面进行研究,并将研究算法在图象识别分类数据集上进行验证。本文的主要创新点如下:(1)针对物体材质仅依靠视觉图像无法很好区分,本文提出一种多模态融合框架用于物体材质分类。基于ELM-LRF方法在训练过程中不能只更新训练新的数据且局部感受野大小单一的问题,本文提出的多模态融合框架基于多尺度局部感受野在线序列极限学习机进行研究,即多模态融合的多尺度局部感受野在线序列极限学习机算法(MM-MSLRF-OSELM)。为了充分利用图像的颜色信息,MM-MSLRF-OSELM算法还对输入样本进行了R、G、B颜色分离,在特征提取过程对传统的框架进行改进。通过在TUM数据集上验证,实验结果表明模态融合后的分类精度优于单模态的分类精度。将MM-MSLRF-OSELM算法的分类性能与MM-MSLRF-ELM算法进行对比,证明本文算法分类性能更佳。而且MM-MSLRF-OSELM还可在训练数据集时顺序更新训练,在实际中更加实用。(2)针对MSLRF-OSELM的输入权重是随机产生的,所以生成的权重不一定是最优的,导致算法结果可能存在次优,且随机生成权重对结果的稳定性有一定影响的问题。本文在MSLRF-OSELM基础上进行改进,提出一种改进的多尺度局部感受野在线序列极限学习机算法(PSO-MSLRFOSELM)。引入粒子群算法(PSO)对MSLRF-OSELM的输入权重进行寻优。PSO-MSLRF-OSELM算法在MNIST数据集和NORB数据集上进行了验证,实验结果表明改进后的算法不仅性能有了提高,稳定性也更好。综上,本文在MSLRF-OSELM的基础上进行扩展研究,分别提出两种新的算法,使其在物体材质分类,目标识别和图像分类领域有更好的表现,相应的可以应用于机器人物体材质分类、医学图像检测、车牌识别等。