随着全基因组关联研究的发展,越来越多的与癌症相关的致病基因被发现,探究这些基因如何作用于疾病成为了生物医学与生物信息学的热点。基因与环境共同作用影响着复杂疾病的发病机制,因而基因-基因与基因-环境的交互效应发展成了一个多领域、跨学科的研究焦点。本文针对交互效应的变量选择问题,提出了两种惩罚回归方法。本文的主要内容与结论如下:（1）对于基因-基因交互效应,提出了层次型最大最小凹惩罚方法（Hierarchical Minimax Concave Penalty,简称Hier MCP）。Hier MCP方法基于结构化的交互分析模型,可以容纳多种数据类型。MCP惩罚最大限度地提供了稀疏区域的惩罚损失的收敛性,本文对MCP方法做了改进,使其满足主效应于交互效应之间的层次结构,并采用坐标下降法进行优化求解。以生存数据为例,Hier MCP可以有效压缩协变量维度,对基因-基因交互效应有较好的识别准确率。（2）对于基因-环境交互效应,提出了LAD-SCAD（Least Absolute Deviation combined with Smoothly Clipped Absolute Deviation）方法。LAD-SCAD模型在含有异常值的数据中有较好的预测效果,可以筛选出有稀疏性的协变量。LAD损失可以适应脏数据中的长尾误差,SCAD惩罚具有无偏性、稀疏性和连续性的特点,对应的解收敛于局部最小值。LAD-SCAD方法选出的模型简洁、有较好的解释性。（3）分别对SNP数据和基因表达数据进行了仿真模拟和真实数据实证研究。仿真分析结果和在肺腺癌数据集、乳腺癌数据集上的实证分析结果说明了,对于连续型响应变量和分类型响应变量,本文提出的两种的方法Hier MCP、LAD-SCAD都能有效地选择出满足主效应与交互效应之间层次约束结构的变量。以真阳性（TP）、假阳性（FP）、预测均方误差（PMSE）、误差平方和的根（RSSE）作为评价指标,本文提出的方法显著优于现有的高维数据交互效应变量选择方法。