中医学以其几千年的深厚积累，在疾病的预防、诊断及治疗上具备了完善的理论体系和丰富的实践经验。中医的望诊能够最直接的了解疾病或健康的状态，在诊断过程中，面色与舌象对内脏病变的反映较为准确，因此具有很高的实用价值，在望珍中的地位十分的重要。中医现代化指的是借助医学仪器，运用数字图像等信息，在中医学的理论基础上实现辅助诊断及自动化诊疗的功能。本课题拟通过面部、舌象及舌下的病理数据采集与病理信息的提取和分析，实现中医中望诊的自动化分析与诊断。本课题的研究内容含盖了图像特征的提取，单模态的疾病诊断模型以及多模态的生物特征融合诊断模型。　　本文用到的图像数据包括了大量的健康样本以及各种疾病的样本。根据中医望诊中的相关理论，我们对图像数据中的特征进行了设计和提取。在疾病诊断的研究中，首先采用提取到的特征数据，对健康与7种常见疾病进行了单模态和多模态融合的诊断实验。在融合的方法中，主要采用了特征层融合与分数层融合两种方式。多模态融合的方法虽然比单模态的方法利用到了更多的生物信息，在识别率上得到了提升，但仍然存在许多问题，例如未能挖掘出特征间的共性及差异性，或者不能根据每种特征的重要程度，调整不同模态的权重。　　为了很好的解决这些问题，本文分别提出了特征相似性与差异性联合学习的算法和权重自适应的分数融合算法。第一种方法的核心思想为多任务的稀疏表示，为了权衡每种特征，对模型进行了改进，在表示系数上进行了更完善的设计，使得其能够有效的提取出特征间的相似性与差异性。第二种方法的核心思想是加法法则的组合判定策略，通过模态中与模态间的匹配分数信息，使得算法可以自动的调整每种模态的权重与分类置信度，达到更好的识别效果。　　本文通过实验分析，验证了两种模型的有效性，同时在疾病诊断的分类结果中，两种模型的识别效果都高于改进前的多模态融合方法以及单模态的分类方法。