在许多实际应用中,量子系统往往会与同类量子系统、热浴、热库或测量仪器等环境相互作用而成为开放量子系统。当环境的记忆时间尺度远远小于系统状态演化的时间尺度时,其记忆效应可以被忽略,系统近似为马尔科夫(Markovian)开放量子系统,反之,系统为非马尔科夫(non-Markovian)开放量子系统。对于存在测量操作的量子反馈控制系统,由于测量本质上是含噪声的,这会使得被控系统成为随机开放量子系统。本论文分别以非马尔科夫开放量子系统和随机开放量子系统为研究对象,详细分析了系统本身的复杂特性,并通过系统仿真实验研究了量子李雅普诺夫(Lyapunov)控制在状态转移方面的应用。主要研究内容包括以下两大部分：1.非马尔科夫量子系统的特性分析和状态转移。以与高温环境弱耦合的开放二能级量子系统为研究对象,采用时间无卷积(time-convolution-less, TCL)形式的控制系统模型,分别研究了环境截断频率、耦合系数和系统振荡频率对系统衰减系数、相干性和纯度的影响,为系统仿真实验提供了具有非马尔科夫特性的参数：基于李雅普诺夫稳定性定理设计状态转移控制律,通过调整控制参数来有效地控制系统状态向着期望的目标态演化；在Matlab环境下进行系统仿真实验,研究了系统状态的自由演化以及在所设计的控制律作用下纯态到纯态的状态转移,通过对比分析得出以下结论：系统自由演化轨迹振荡特性是由非单调的纯度变化导致的；所设计的量子李雅普诺夫控制律能够有效地实现非马尔科夫系统从给定初态到期望目标态的状态转移,并且控制参数、截断频率参数对控制性能有显著的影响。2.基于李雅普诺夫控制的随机量子系统特性分析。以真空环境中连续测量下的N=4角动量系统为研究对象,首先介绍了选用的随机量子系统主方程和两种李雅普诺夫反馈控制方案——开关控制和连续控制；其次,在无控制作用下,通过系统仿真实验研究了不同测量效率对系统状态纯度的影响,分析了系统的量子态还原问题,得出结论：系统自由演化过程中,其状态最终能够随机地收敛到测量算符的某个本征态,其可能到达的本征态的个数与初态密度矩阵中对角线非零元素的个数相等；最后,以状态转移控制为出发点,分别探讨了开关控制和连续控制下参数的选取问题以及对比分析两种控制方案下的状态转移控制性能,可以发现：在两种控制作用下,系统均能够从任意的纯态转移到期望的本征态；但相比于开关控制,连续控制下的系统性能指标函数收敛速度加快,达到转移目标所用的时间缩短。