增强现实是引领信息产业发展的新兴技术。可用于户外大范围街景的增强现实能有效消除人与信息世界之间的隔阂,在消费电子、军事、教育、旅游等众多领域具有重要的应用前景,是近年来国内外研究热点。增强现实的核心技术之一是虚实注册,其主要任务是解算现场实时获取的相机图像与虚拟三维模型之间的几何变换关系。虚拟三维模型的主要获取方式包括从图像序列运动中恢复结构（Structure from Motion,SfM）的三维模型和激光雷达扫描获得的三维点。相机图像与SfM三维模型渲染图像、三维点云是不同域的视觉数据,本文重点研究面向这三者的跨域视觉匹配问题,主要研究内容和创新点如下:（]）提出了基于孪生网络的跨域图像块匹配针对增强现实中跨域视觉数据块匹配的难题,提出了基于孪生网络的跨域图像块匹配。首先,构建了一个大规模跨域图像块数据集,其包含了 10万对匹配和10万对不匹配的相机图像块与渲染图像块。其次,基于自动编码器嵌入孪生网络的框架,提出了用于跨域图像块匹配的H-Net;再次,基于H-Net,提出了探索学习跨域图像块特征描述的H-Net++;最后,基于H-Net++,引入了注意力机制并设计了一种自适应确定对比损失函数中间距值的策略,提出了 SiamAM-Net。实验表明,H-Net实现了最好的跨域图像块匹配性能;H-Net++验证了学习跨域图像块特征描述的可行性;SiamAM-Net学习的跨域图像块特征描述更具鲁棒性;自适应确定对比损失函数中间距值的策略有效提升了 H-Net++与SiamAM-Net的性能。（2）提出了面向海量检索的跨域不变深度特征描述针对增强现实中跨域视觉特征检索的难题,提出了面向海量检索的跨域不变深度特征描述。首先,改进了构建跨域图像块数据集的方法,获取了 30万对匹配和30万对不匹配的相机图像块与渲染图像块。其次,基于两个共享解码器的自动编码器网络框架结合生成对抗学习策略,提出了学习跨域不变深度特征描述的AE-GAN-Net。最后,基于AE-GAN-Net,提出了容易训练的Y-Net学习跨域不变深度特征描述。实验表明,AE-GAN-Net和Y-Net学习的跨域深度特征描述具有不变性,并基于Y-Net学习的跨域不变深度特征描述,完成了相机图像与渲染图像的匹配。（3）提出了街景图像到大规模三维点云的深度检索特征描述针对增强现实中图像到点云特征检索的难题,提出了街景图像到大规模三维点云的深度检索特征描述。首先,基于高精度移动测图系统提出了一种准确提取图像与三维点云自适应匹配块数据集的高效方法。其次,基于孪生网络,设计了自适应间距值的对比损失函数,提出了共同学习图像块和三维点云块深度检索特征描述的Siam2D3D-Net。实验表明,提出的数据集制作方法获取的图像块与三维点云块内容一致且冗余信息少;Siam2D3D-Net学习的深度检索特征描述可以实现图像块到三维点云块的检索任务。