近年来,拓扑绝缘体已经成为自旋电子学领域的研究热点之一,其新颖独特的性质令其在自旋器件中有着重要的应用。与经典的金属和绝缘体不同,拓扑绝缘体是一种体相绝缘态,表面态为金属态的特殊材料。拓扑绝缘体的表面态受时间反演对称的保护,表面态中的电子具有自旋动量锁定的性质,抑制了来源于晶格中杂质或者缺陷的弹性散射。以硒化铋（Bi2Se3）和碲化铋（Bi2Te3）为主的拓扑绝缘体的研究,极大的推动了拓扑绝缘体在电子自旋器件中的应用。随着拓扑绝缘体的发展,三元拓扑绝缘体,如Bi2Se2Te、Bi2Se2Te、Bi2-xSbxSe3、Bi2-xSexTe3逐渐进入了人们的视野,这些材料具有良好的体相绝缘的性质,导致表面态对电导的贡献增大。然而对于三元绝缘体的研究大多集中于其优秀的输运性质,很少关于三元拓扑绝缘体中不同元素比下晶格结构的动态变化的研究。据此本文研究了在三元拓扑绝缘体体系Bi2Se3-xTex体系中晶格结构随Te浓度的变化趋势。与此同时,在拓扑绝缘体晶格结构中,层与层之间以范德瓦尔斯力结合,因此,拓扑绝缘体是制备异质结结构的良好材料。而且随着二维材料的发展,本征二维铁磁材料的发现也激起了较多关注。由于具有很强的自旋轨道耦合作用,拓扑绝缘体和二维铁磁材料组成的异质结结构在自旋电子器件的应用中有着重要的意义。分子束外延（MBE）技术在高质量薄膜的生长以及精准调控薄膜中元素化学计量比有着得天独厚的优势。同时,也为异质结的制备提供有效途径。本文对二元和三元拓扑绝缘体以及二维铁磁材料的结构和性能展开了研究,通过分子束外延技术成功在Ga As（111）B衬底上制备出高质量的Bi2Se3和Bi2Te3薄膜。我们对Bi2Se3和Bi2Te3薄膜的结构和输运性质展开了研究。同时,我们研究了在云母和YIG衬底上生长Bi2Se3薄膜的结果,对基于拓扑绝缘体的低功耗以及光学器件提供了理论参考。在Bi2Se3-xTex三元拓扑绝缘体体系中,随着Te元素的比例逐渐升高,薄膜在a轴和c轴方向上的晶格常数都逐渐增大。拉曼结果表明,Bi2Se3-xTex薄膜中拉曼峰位的变化随Te浓度的变化呈现台阶状的变化,当Te的浓度在0<x<1内区间时,拉曼峰位变化不明显,当1<x<2时,峰位发生急剧变化,当2<x<3时,其峰位变化趋势又趋于平缓。我们探究了在掺杂过程中Te原子优先选择晶格中占据位置的过程。拓扑绝缘体中原子按照-AVI（1）-BV-AVI（2）-BV-AVI（1）顺序排列,Te原子会优先占据中间层的原子晶格位置,当占满中间层原子后,再去占据其余层的原子位置。通过对Bi2Se3-xTex薄膜中Se和Te原子在晶格结构中优选占位的动态研究,我们提出了一种关于Te优选晶格中位置的假设,这种假设可以为精准地确定Bi2Se3-xTex薄膜中Te原子和Se原子的排列位置提供理论基础。同时,在Bi2Se3-xTex薄膜体系的输运测试中,都观察到了弱反局域化的现象。与此同时,我们使用分子束外延技术成功在Ga As（111）B衬底上制备出不同厚度的高质量二维磁性材料Cr Te2薄膜。通过低温输运系统对Cr Te2薄膜的磁性能进行了探究。其结果证明即使Cr Te2薄膜的厚度薄至原子级别时,Cr Te2也展示出较强的面外易轴特性。在4层厚的Cr Te2薄膜中,我们发现其居里温度为191 K,随着薄膜厚度从4层增加到35层,Cr Te2薄膜的居里温度从191 K增加到205 K。当温度为5 K时,Cr Te2薄膜的矫顽力由4层厚时的8200 Oe减小到35层时的5120 Oe。在所有Cr Te2薄膜中都发现了反常霍尔电阻随着温度变化的非单调变化。另外,我们成功的制备出了Bi2Te3/Cr Te2的异质结结构,这一发现为进一步开展二维铁磁性的基础研究奠定了基础,同时也对自旋电子的器件应用的发展具有重要意义。