近年来,随着经济快速发展,人们的生活水平不断提高,购物需求越来越大,然而市面上的商品材质种类繁多、鱼龙混杂,人们在挑选时不能准确评价材质的质量,很多时候买到的商品材质存在问题。针对这一现象,探究一套材质表面识别装置与算法用于识别材质表面具有现实意义。视觉可以体现材质表面纹理的方向、粗细以及交织复杂程度,根据视觉特征可以识别材质表面。然而视觉不能判断材质表面更精细的特性,例如粗糙程度以及纹理的起伏与深浅,这些信息则可以通过触觉来获得。与单模态信息相比,多模态信息融合可以实现各模态资源互补,更全面识别材质表面。因此本文从触觉、视觉单模态入手,设计材质表面触觉与视觉数据采集装置,探索与归纳出一套用于多模态材质表面识别的算法,创建日常织物表面触觉信息-视觉图像数据集进行实验验证。首先,介绍了触觉、视觉、多模态信息融合技术在材质表面识别领域的研究现状,介绍了模态信息处理方法,分析了单独使用触觉或视觉信息进行材质识别的优缺点,引出本文提出的模态融合理论应用到材质表面分析的必要性、合理性和创新性。其次,设计触觉与视觉数据采集装置。针对材质表面触觉信号探索与开发出一套算法处理流程,包括高通滤波器设计,DFT321三轴触觉信号合成以及APSD功率特征提取与降维。之后介绍了视觉图像的纹理特征提取方法。再次,探索出一种触觉-视觉联合特征降维的融合方法用于材质表面识别,应用典型相关分析（CCA）思想随机配对两种模态样本,使用降维功率特征表达触觉时间序列,纹理统计特征表征视觉图像,联合特征映射到低维线性空间,训练多模态极限学习机实现分类。实验创建了一个18种织物数据集FTS-18用于验证算法,结果表明,触觉-视觉融合信息识别效果明显优于单模态。进一步改进算法,将随机配对模式改进为一对多配对模式,分类优势更加明显。最后,在公开LMT₁08材质纹理表面数据集上验证了多模态材质分类算法的有效性。