近年来,随着医学成像技术的发展,机器学习方法与脑影像结合,用于寻找对脑疾病敏感的生物标记物,并辅助脑疾病的诊断,已经成为一个新的研究热点。多模态的医学影像为脑疾病的诊断提供了丰富的信息。本文基于多模态的医学影像,通过不同的模态融合方法充分挖掘模态特有的信息以及模态之间的相关信息,从而进行特征选择及分类。超图模型是普通图在拓扑结构上的一种泛化,克服了普通图在复杂关系表示上的缺陷,能够很好地刻画高阶关系。本文重点关注超图在多模态影像分析中的应用,主要工作和创新点如下:首先,提出一种基于超图的多模态特征选择算法。具体来说,把每个模态上的特征选择看作是一个任务,利用多任务学习框架来进行联合特征选择,充分利用模态之间的相关信息,通过组稀疏正则化可以保证不同模态的同一脑区同时被选中。进一步地,通过加入超图拉普拉斯正则化项来更好地利用样本之间的高阶复杂关系。基于选择好的特征,采用多核支持向量机来进行分类,实验结果表明,提出的方法有助于选择出更具有判别性的特征,从而提高分类性能。另外,多模态影像之间不一定是线性相关的关系,因此,提出一种基于图扩散的多模态非线性融合方法。在每个模态上分别建一个图,通过不断的迭代融合,最终收敛到一个统一的融合图,这个图充分吸收了各个模态的信息。对于融合图,采用基于超图的直推式方法进行分类。直推式方法能有效地利用有标签和无标签的样本,加入超图正则化项能考虑到样本之间的高阶关系。实验结果表明,提出的方法能很好地融合多模态信息,获得更加优越的分类性能。