基于摄像头的新型实时交互手段是在传统人机交互手段,例如键盘鼠标等之上的一种很好的拓展。特别是使用两个摄像头同时进行拍摄,可以充分模拟人的眼睛对客观世界的感知,从而通过准确定位和分析,进而获得场景的三维特征。这种交互手段可以允许虚拟现实场景的操作者可以以一种更加自然的方式进行人机交互,例如空间定位,手势指挥等。基于双摄像头的新型交互方式主要采用计算机图像分析技术,对摄像头采集的每一帧执行分析流程,分别提取出前景物体和背景,然后对前景物体利用计算机双目立体视觉技术进行空间定位和运动轨迹分析。本文的研究以游戏引擎为平台。整个系统的实现是建立在游戏引擎的基础上,作为其功能外扩型组件而存在。本系统在设计的时候,十分注重系统的模块化、可复用性,所以本系统其实是一个自成体系的完整系统,并非只能依附于游戏引擎中,而是具有很强的可移植性和可维护性,可以作为一个单独的组件应用在需要使用机器视觉的场合和系统之中。由于实现的是机器视觉的系统,因而本文就机器视觉的实现步骤和其间的一些重点算法进行了详细的分析,并按照其算法处理的步骤进行了逐一研究,对于一些已经很成熟的算法,我们在研究后对其进行了直接的实现;对一些不能满足我们系统性能或功能需求的算法,我们进行了一些细节的组合和整体的优化,从而使系统要求得到满足;而对某些关键性的,且并没有适合的算法可用的步骤,我们另行摸索和设计合适的算法并将其实现。因此,本文中的主要工作有如下一些方面:●对整个系统进行了详尽的算法流程设计、系统结构实现,并逐步验证了文中所采用的各算法的实现细节。在与游戏引擎完美结合的同时,保证了系统所要求的实时性能。●针对系统的关键环节:特征点的提取,提出了将图像的两种特征,即边缘信息和角点信息进行综合使用的方法,扩大了可使用的点的数量,同时又缩小了需要处理的信息数量,还抵消了经过滤波造成的角点的损失,对算法的效率和健壮性都有很大的帮助。●针对系统的另一个关键环节:特征点的匹配,提出了创新的算法,即使用极线校正和单应性约束限定匹配范围,然后使用扩散式的搜索来进行匹配,这种匹配点的搜索方式使系统的性能得到了大幅度的提升。同时,在使用了反馈修正参数之后,其可靠性也达到了系统的要求。