论文部分内容阅读
增强现实技术可将计算机生成的虚拟物体叠加至真实环境中,使观察者能够看到虚实结合的场景,为生产制造、教育培训等领域带来技术革命。而作为主流的AR设备,微软HoloLens存在视角范围狭窄的约束,观察较大物体时不可观其全貌,导致用户无法获取全局信息。利用增强现实技术可实现对环境的理解,在已知标注对象的条件下,可对其组成通过虚拟信息加以说明,在无特定对象的情况下,可实现对整体环境的解析。在标注对象已知时,现有的解决方法考虑在物体各组件上附加虚拟标签,明确各部分的名称及位置,但单纯附加标签这一方式无法使用户掌握目标对象的整体结构,尤其针对大规模物体,因硬件设备视野限制导致缺乏全局浏览。在标注对象未知的情况下,可通过在AR设备上对环境中的物体加以检测与定位,从而辅助用户理解环境。针对增强现实场景下辅助用户浏览特定物体这一问题,本文提出层次导航树的概念,通过呈现物体的全局结构以及二维界面到三维物体的导航,对具体对象加以说明,改善视野范围的消极影响,并采用多通道融合的交互方式,保证人机交互的自然性,以检修培训为应用场景,使用虚拟信息提供目标设备的组件指引,从而加速检修操作,验证了层次导航树的高效性。除此以外,存在用户旨在了解整体环境而非关注特定对象的情况,故本文对增强现实场景下真实环境的智能理解进行探索,从物体检测与定位的角度,结合机器学习模型Tiny-YOLO,实现虚拟信息对真实环境的诠释。本文的主要贡献有以下几点:1、以故障树分析法为理论依据提出层次导航树的概念,改善视野狭窄导致的全局信息缺失问题,满足检修培训场景的功能性需求,提供高效的人机交互方式。2、实现了基于增强现实可穿戴设备对真实环境中物体的检测与定位,便于用户对周围环境的理解。