论文部分内容阅读
增强现实技术在真实场景中注册虚拟信息，给用户带来场景中可视化的信息，并提供足够真实的体验，即保证注册信息在真实场景中的几何一致性，光照一致性和时间一致性。而对于面向装配引导、设计或培训的增强现实装配系统而言，虚拟物体（如零件等）与真实物体（如装配工具等）需要进行频繁的互动，因此，解决虚实物体两者之间的几何一致性问题显得尤为重要。故本文针对真实装配工具与虚拟零件之间的几何一致性虚实遮挡关系的进行研究处理。 本文首先通过颜色分割算法与基于Hu矩阵的识别算法对装配工具进行实时的提取与识别，然后利用Camshift算法对分割出来的装配工具进行跟踪，最后利用虚拟替身的单应性注册实现虚实遮挡的正确处理。为验证方法的有效性，开发了一个与虚拟发动机虚实遮挡的原型系统。本文具体的主要研究工作如下: (1)通过张正友平面标定法进行摄像机标定，建立系统摄像机正确模型，获取摄像机内参属性，为三维注册提供离线数据。然后利用工具材质属性，考虑光照、阴影和局部反光等影响，选取常用颜色空间中针对于环境变化鲁棒性较好的通道进行颜色分割，并使用梯度信息进行边缘修复。 (2)根据对象轮廓，使用Hu矩进行装配工具类型识别，为虚拟替身类型的选取提供依据。再将颜色分割和Camshift算法结合进行自动区域跟踪，减小图像处理区域，提高系统的实时性。最后为实现基于平面的虚拟替身三维注册，利用装配工具的形状特性，获取其稳定的几何特征点。 (3)利用摄像机模型和真实物体上的几何特征点信息，使用空间平面和图像平面间的单应性进行虚拟替身的三维注册。再利用Unity3D的渲染方式，利用透明替身、深度信息和渲染队列实现虚实遮挡。 (4)在现有研究的基础上，设计系统实现的功能和开发软件之间的通信方式，开发一个原型系统。再通过以虚拟发动机为实例验证了本文实现满足真实虚实遮挡效果方法的有效性，并且实现遮挡效果的对比和同种多个工具的遮挡效果。