增强现实技术是通过计算机或者信息技术提取或者模拟某种虚拟信息，然后实时准确的叠加于真实的环境后而呈现的一种现实与虚拟信息的混合新感官体验。自20世纪90年代诞生以来，众多科研、商业、娱乐等产业大大促进了AR技术的发展应用。然而，由于这些系统基本都是由固定的标志物或者是固定纹理结构而表现虚拟信息的，不够灵活与自由，与无约束的客观环境达不到比较好的真实感效果，使得AR的应用受到一定制约；而基于多目视觉系统基本可以达到实现效果，但是理论与实现又过于复杂。本文以微软推出的新一代交互设备Kinect的深度摄像系统为基础，开发一套基于真实场景建模的AR系统：1）从摄像机标定原理出发，推出深度摄像机Kinect的几何变换映射关系，测定其内部变换参数。同时在分析Kinect深度变换的基础上对Kinect的彩色视频图像和深度图像进行配准工作。最后，对Kinect的原始粗糙深度图像做修复处理。2）讨论了利用Kinect的深度数据提取场景中的几何信息的技术，分析了基于深度信息的平面分割和真实物体分割的方法。3）在Kinect SDK和XNA的基础上，构建了一套新的可自由配准虚实融合AR系统。接下来，基于前者加上Kinect的优秀的交互功能，改进了可交互的增强现实系统，此系统可以实现基于真实场景的虚拟物体自由叠加和与人体进行简单的互动，达到真实感的融合。该系统的特点与优势有：比较廉价的Kinect设备加上先进的深度感应系统，可以一定程度作为AR系统的场景感应，且基于Kinect的先进骨骼检测技术，易于实现更深一层可交互的AR系统。Kinect的普及，为AR技术的实现带来了更多的可能性和展望。