石墨烯的问世开启了二维材料研究的新时代。石墨烯的载流子是无质量的狄拉克费米子,遵循二维狄拉克方程。石墨烯因此成为了研究相对论性量子力学的一个新型平台,在凝聚态物理的框架下研究新奇的相对论量子现象成为可能。随着研究的深入,更多的新型二维材料相继被成功制备,比如过渡金属二卤化物、硅烯和磷烯等。受系统维度的限制,二维材料的载流子迁移和热量扩散都被局限在平面内。因此,二维材料展现出许多非比寻常的物理性质,存在巨大的科学和应用价值。近年来,二维材料吸引了广泛关注,成为了实验和理论上的研究热点。凝聚态物理中的一个核心问题是相变的研究。朗道相变理论中,相变的发生通常伴随着自发对称性破缺,可以定义对应的局域序参量来表征。然而,拓扑相变中却不存在自发对称性破缺,非平庸的拓扑物态必须通过拓扑不变量来表征。实验上发现的第一种拓扑物态是整数量子霍尔效应。近年来,石墨烯上预言存在的量子自旋霍尔效应最终在Hg Te/Cd Te量子阱上被实验证实,这引发了拓扑绝缘体等拓扑物态研究的飞速发展。而受量子涨落的影响,低维系统中存在更加丰富的物理图景,比如分数量子霍尔效应、非费米液体等。此外,超冷原子光晶格技术的发展也为二维系统提供了一个纯净、可控的研究平台。本文聚焦于二维系统,选取了两种不同结构的二维体系,详细研究了多种不同参量竞争导致的拓扑和磁性相变。本文首先研究了二维褶皱六角蜂巢晶格上自旋轨道耦合和库伦排斥作用之间的竞争效应。凝聚态物理中存在许多由电子的强关联效应引发的奇特现象,比如高温超导体、重费米子、巨磁阻效应和量子自旋液体等。由于电子之间的关联足够强,微扰论不再适用,因此强关联问题成为凝聚态物理中的研究难点。得益于计算机技术的发展,物理学家发展了多种数值方法来求解强关联问题,比如精确对角化方法、密度矩阵重整化群方法和量子蒙特卡洛方法等。在这项工作中,我们通过结合原胞动力学平均场理论和连续时间量子蒙特卡洛方法,数值上求解了这个复杂的强关联问题。我们获得了系统随自旋轨道耦合、相互作用和温度变化的相图,发现本征自旋轨道耦合诱导的拓扑绝缘体对弱的Rashba自旋轨道耦合和相互作用存在鲁棒性。此外,Rashba自旋轨道耦合还会把相互作用诱导的连续金属-反铁磁莫特绝缘相变转变成一阶金属-铁磁绝缘相变。此外,我们还深入研究了双层六角蜂巢晶格上SU（2）规范场的效应。通过Peierls替换,我们首先得到了SU（2）规范场作用下的系统紧束缚哈密顿量。通过系统费米面拓扑结构的变化,我们发现了一个非阿贝尔SU（2）规范场诱导的拓扑Lifshitz相变,并结合哈密顿量的久期方程给出了相应的相边界。最后,我们还探讨了SU（2）规范场对系统局域边界态的影响。