当轻流体支撑重流体，或者低密度流体加速高密度流体时，流体不同密度层交界面初始的界面扰动会随时间很快发展起来，这就是著名的瑞利-泰勒不稳定性。瑞利-泰勒不稳定性是一种常见的现象，它对于激光惯性约束核聚变点火以及天体的发展演化都起着至关重要的作用。因此，认识和评估瑞利-泰勒不稳定性的发展演化，这无论对于工程实践还是理论研究都有着重要的意义和价值。　　本文利用不可压流体力学模型，考虑连续的磁场和密度分布，研究了磁场过渡层效应对瑞利-泰勒不稳定性的影响。通过解析推导得到了两种典型的磁场和密度过渡层对应的瑞利-泰勒不稳定性线性增长率解析表达公式。发现磁场效应对瑞利-泰勒不稳定性有强烈的致稳作用，特别是当扰动波长比较短的时候。在其它参数固定的情况下，磁场过渡层效应会抹平磁场强度，从而消弱磁场效应对瑞利-泰勒不稳定性的致稳作用，因此瑞利-泰勒不稳定性的线性增长率会随着磁场过渡层宽度的增加而增加，特别是当磁场过渡层宽度比较窄的时候，磁场过渡层宽度的增加会显著增加瑞利-泰勒不稳定性的线性增长率。为了对比、验证解析表达式的正确性，利用数值方法计算了磁场效应作用下的瑞利-泰勒不稳定性线性增长率。发现数值结果与解析表达式变化趋势完全一致，取值大小只在局部会有明显的误差，但是误差都在可接受的范围内，从而验证了数值结果和解析表达式的正确性。　　同样使用不可压流体力学模型，在考虑磁场效应的情况下，本文进一步研究了量子效应对瑞利-泰勒不稳定性的影响。首先利用标准的线性化理论，推导得到了外加磁场中连续密度剖面下考虑量子效应修正的瑞利-泰勒不稳定性的二阶本征方程。通过对二阶本征方程积分得到了考虑磁场和量子效应修正的连续密度剖面瑞利-泰勒不稳定性线性增长率解析表达式。为了与解析表达式进行比较和验证，同样通过数值方法求解了相应的二阶本征方程，比较发现数值结果和解析公式二者定性地符合得比较好。磁场效应和量子效应共同对于瑞利-泰勒不稳定性具有强烈的致稳作用，特别是当扰动波长比较短的时候致稳效应更为显著。量子效应对于瑞利-泰勒不稳定性的致稳特点表现为量子效应倾向于致稳大Atwood数的扰动和密度梯度标长较小的扰动。外加磁场的存在为瑞利-泰勒不稳定性提供了更强的致稳效果。在一定条件下，瑞利-泰勒不稳定性能够被磁场效应和量子效应完全抑制住。本文将磁场效应和量子效应作用下的瑞利-泰勒不稳定性应用到了实际物理问题中，研究和讨论了参数接近于激光惯性约束核聚变和白矮星的两种物理问题，发现在这样的实际情况下，磁场效应对瑞利-泰勒不稳定性的抑制作用比起量子效应的抑制作用更为显著，并且给出了需要考虑磁场效应和量子效应的参数范围。这些结论对于分析超星星爆炸中的瑞利-泰勒不稳定性以及激光惯性约束核聚变靶物理设计都具有重要的意义和参考价值。