推理场景的立体结构是计算机视觉中常见的任务,其基本目的是根据传感器获取的平面信息推理出场景的立体结构。已有很多基于双目相机或距离传感器的研究用于解决这类问题。基于单目相机的方法由于只能利用一些局部的二维信息,在推理场景的立体结构时会遇到更多的挑战。但这类方法更少地依赖传感器,能利用有限的信息解决问题,所以非常具有研究价值。我们需要解决的两大问题是把二维信息变成局部立体信息并推理这些局部立体信息的关系。前者称为深度估计,后者称为位姿估计。本文针对基于特征点的深度和位姿估计问题中的Pn P(Perspective-n-Point)问题提出了一个更优的算法,并结合SLAM(Simultaneous Localization and Mapping)设计实验验证该算法在常用数据集和真实场景中的效果。为了降低位姿的累积误差,设计了一个关键帧选取策略,用于保证关键帧的质量并限制关键帧的数量;针对离群点影响实验精确度的问题,设计了一个匹配点筛选策略,用于剔除离群点。在数据集和真实场景中的实验表明,本文提出的算法能有效地降低误差。针对基于无监督深度学习的单目深度和位姿估计算法,本文提出了基于三维点云的立体优化算法,用于优化估计出的深度和位姿。在估计位姿和重建深度图的过程中,不但让生成的深度图保持局部平滑性并与原始图像保持结构相似性,还利用估计出的位姿让空间点(点云)尽可能地相互重合。该算法使用点云配准的迭代算法让这些空间点对齐,并在多次迭代中丢掉离群点,以获得更加精确的效果。对比实验的数据表明我们提出的算法可以提高准确度。为了提高深度估计的准确度,根据深度图与语义分割图的内在联系性,本文设计了一个多任务卷积神经网络。该网络结构分为编码器和解码器两部分。编码器通过多次卷积,从图像中提取丰富的特征,这些特征被输入深度估计解码器和语义分割解码器用于深度图和语义分割图的重建。为了让两个解码器产生联系,在两个解码器中设计了一个信息共享策略,使深度图和语义分割图保持内在的一致性。实验结果表明我们的网络模型生成的深度值准确性更好。