癌症是威胁人类生命的主要疾病之一,有效提高癌症检测机制在未来的癌症研究工作中具有非常重要的意义。随着高通量测序技术的诞生与发展,基因组数据为癌症的发现与治疗带来了新的机遇。但是基因组数据往往表现出高维、小样本和高噪声等特点,传统的聚类方法很难直接应用在癌症基因组数据的挖掘分析中。本文将在研究基因组数据的基础上,以基于图论的谱聚类算法为主要研究方向,建立一种基于图论的谱聚类算法模型,对现有谱聚类算法进行改进,本文主要开展了以下几个方面的研究工作:针对传统的谱聚类算法不能很好地描述空间中数据点之间的关系,提出一种密度相似性的谱聚类算法代替Gaussian核函数作为相似性度量的标准。当两数据点是邻接关系时,将Hsim度量方法作为欧氏距离的一个权重值,避免数据点自身的信息对数据点之间的相似度测量存在过大的影响;当两数据点不是邻接关系时,采用设计的密度相似性度量方法,减小高密度区域数据点之间的距离,放大低密度区域数据点之间的距离,更好地反映数据集的真实分布情况。针对大规模数据集中Laplacian矩阵的特征分解会造成过高的时间和空间上的复杂度问题,提出了一种改进的随机奇异值分解方法来计算样本子矩阵的特征向量。利用Nystr?m低秩逼近的方法通过对数据集采样和近似策略来降低计算复杂度,利用矩阵的对称性以抽取到更有意义的点,并采用改进的奇异值分解方法节约计算成本在保证聚类精度的情况下提高算法效率。为了验证密度相似性的谱聚类算法的准确性,分别在人工数据集和真实数据集上通过对实验后的聚类效果图及聚类结果进行分析比较,可以得到改进的密度相似性的谱聚类算法能够更好地刻画数据点间的关系并提高了算法的准确性。为了验证改进的随机SVD的Nystr?m谱聚类算法在癌症基因组数据上的亚型聚类应用,在癌症基因组图谱计划中的胰腺癌和基因表达数据库中的胃癌数据集上进行聚类,从生存曲线和基因表达热图分析聚类发现的癌症亚型病理学上的意义。最终确定课题所提出的改进的随机SVD的Nystr?m谱聚类算法可以应用在基因组数据的亚型发现。