光束在传播中出现的界面反射现象是一个很重要的光学过程。光波在界面的相互作用通常用斯涅耳定律和菲涅耳公式来描述,这属于几何光学范畴。对于实际的光束,它具有有限的宽度。由平面波角谱理论可知,任何物理光束都可以看成是由不同传播方向的平面波叠加而成,那么就是说实际光束包含一个有限范围的角谱成分,所对应的反射系数是不同的,在完美镜面反射中将导致一些小的偏移。这些小的偏移被叫做空间位移和角移。通常其中y轴方向的横移叫伊姆伯特-费多罗夫(Imbert-Fedorov)位移,x轴方向的纵移叫古斯-汉欣(Goos-Hanchen)位移。光子自旋霍尔效应类似于电子系统中的自旋霍尔效应,其中光子扮演电子的角色,而折射率梯度则起到了外场的作用。它表现为由左旋和右旋圆偏振光叠加组成的线偏振光产生自旋相关分裂的一种现象,其分裂方向垂直于入射面。其实光子自旋霍尔效应本质上就是伊姆伯特-费多罗夫效应,区别在关注于光束的不同偏振态(线偏振态和圆偏振)。业已得知光子的自旋-轨道角动量相互作用导致了光子自旋霍尔效应。那么考虑携带内在轨道角动量的高阶光束,它的自旋和轨道霍尔效应也是重要的,并且此效应会产生轨道相关的空间位移,这被描述为光子轨道霍尔效应。涡旋光束本身就携带有螺旋相位,具有独特的光电场分布。特殊性表现在它的相位波前结构和具有确定的轨道角动量1h。这一独特的螺旋相位波前结构对研究涡旋场的产生,传播以及相互作用都具有重要意义,因此产生了潜在的应用前景。光束的轨道角动量作为一种自由度,在光学操控、高分辨率成像、通信领域以及量子信息等方面具有一定的应用价值。随着深入的研究,它的重要性将更广泛的体现在其它领域。基于以上认识,本论文提出了具有内在轨道角动量涡旋光束的光子轨道霍尔效应研究,在以下几个方面做了一些创新:(1)从角谱理论出发建立了涡旋光束在空气-玻璃界面反射时的傍轴传输模型,研究了反射过程中诱导产生的正交偏振效应。当一水平偏振涡旋光束以不同角度入射时,反射光束的正交偏振分量呈现出类似于一阶厄米-高斯模式的双峰强度分布,而水平偏振分量强度分布呈现与入射光束相似的分布,且只在布儒斯特角附近入射时才出现与正交偏振分量垂直的双峰分布。对于任意线偏振入射光,其正交偏振分量的偏振方向不再垂直于入射时的偏振方向,而是与反射光束的中心波矢垂直,此时正交偏振分量出现有趣的旋转特性,其物理原因归结于任意线偏振光入射时所对应的水平与垂直偏振分量的反射系数不同。最后进行了相关实验验证,发现实验结果与理论分析符合得较好。(2)基于平面波角谱理论研究了利用轨道角动量操控光子自旋霍尔效应中的非对称分裂。以光束在空气玻璃界面反射为例,建立了描述涡旋光束的光子自旋霍尔效应的传输模型,发现左旋和右旋圆偏振分量的横向位移是关于入射面不对称的,其中两个自旋分量位移的大小和方向是由涡旋光束的拓扑荷数所决定。轨道角动量诱导的非对称分裂可以看成是两自旋分量相对于入射面的整体偏移,这个轨道偏移本质上可以看成是线偏振涡旋光束的伊姆伯特-费多罗夫效应。这些现象的物理机制归结于界面处的自旋轨道相互作用和轨道-轨道转换,且与高斯光束所对应的对称分裂略有不同。研究结果表明轨道角动量为操控光子自旋霍尔效应提供了一个可选择的自由度。(3)研究了具有内在轨道角动量的傍轴光束在空气-玻璃表面反射的轨道-轨道相互作用。由于内外在轨道角动量的相互作用促使光束强度分布发生轨道相关的分裂。此外,还发现光束重心沿着传输轴发生了轨道相关的旋转。而且,光束重心的运动是与轨道-轨道相互作用相关的,其轨迹是一条小角度倾斜于传输轴的直线。相似于发展较早的在光子自旋霍尔效应中的自旋相关分裂,轨道相关分裂将导致光子的轨道霍尔效应。