随着科技的进步,生活水平的提高,医疗健康问题已引起人们的高度重视。与此同时,医疗数据泛滥,放射科医生匮乏。特别地,医疗数据中,大部分数据来自于医学图像。目前,由于医学图像自身的高度复杂性,大多数的研究都是针对单一类型的图像进行疾病诊断,无法实现多类医学图像的疾病诊断。对于各类不同的疾病,尽管它们成像的方法是多样化的,但是,其处理流程是高度一致的。在此基础上,本文提出一套基于多类医学图像的疾病诊断架构,实现对多种不同类型的医学图像的自动化诊断。该架构完成两个阶段的任务,第一阶段任务是对医学图像的类别进行划分,通过提出的基于随机森林进行多特征融合的策略,融合图像的简单统计特征、颜色矩特征以及相应的纹理特征,优化分类模型,使其能够更加准确地给出类别标签;第二阶段任务是根据上一阶段给出的类别标签,选取合适的模块,提取出相应的特征,利用分类器对其进行分类,给出诊断结果。其中,对于乳腺X线图像采用阈值算法分割出乳房区域,然后利用sech模板匹配算法检测肿块,最后根据本文提出的标记控制的分水岭算法和RSF模型相结合的分割方法,使得对于乳腺肿块的分割更加准确,更接近金标准文件。对于肺部CT图像,则采用比特平面分层结合形态学方法实现对于肺实质的分割,利用mean shift算法实现对于肺结节的检测。对于ANA图像和精子细胞图像,则提取多角度的RBP特征,直接对其分类。对于脂肪肝超声图像,则直接提取图像的HOG特征,利用KNN分类器对其进行严重程度的识别。本文提出的疾病诊断架构目前已经在五类医学图像数据库上进行了实验,其中对于乳腺X线图像,诊断的正确率可达到88.67%;对于肺部CT图像,诊断的正确率可达到81.08%;对于ANA图像,诊断的正确率可达到92.31%;对于精子细胞图像,其头部健康状态的诊断正确率可达到93.38%;对于超声图像,脂肪肝严重程度的诊断正确率可达到95.61%。本文提出的疾病诊断架构具备有疾病识别与分类能力,可以辅助医生进行疾病诊断。并且,在提出的疾病诊断架构的基础上,开发出了一套疾病诊断系统,能够辅助医生进行诊断,减少误诊和漏诊现象,具有研究意义与实际应用价值。