全景视觉在军事、医学、虚拟现实、自动驾驶等领域均有重要作用。全景视觉可以获取场景中所有的图像信息,直接或间接地输送给用户,有效避免了信息遗漏。应用在军事领域可以快速获取场景中的作战信息,高效准确的打击目标。应用在医学领域,可以快速定位病灶位置,减少病人痛苦。应用在虚拟现实领域可以构建完整的场景,提供更优的用户体验。应用在自动驾驶领域时可以有效降低安全隐患。然而全景视觉尚未形成一套通用的、可以应用在多场景中的系统。这仍然值得众多科研工作者为之努力。首先,本文针对通用性、实时性和可二次开发等特点设计全景视觉系统框架,该系统框架包括正四面体全景图像采集结构、嵌入式开发平台、网络通信、上位机软件及算法几个部分。该系统使用嵌入式平台配合V4L2视频框架和以TW6865为处理核心的四路图像采集卡完成图像的采集。而嵌入式系统是由内核、uboot、设备树等相关源码构建得到的Linux操作系统,该操作系统集成了全景视觉系统所需要的各种函数库及网络功能。另外,针对该全景视觉系统框架设计了可以跨越局域网的图像数据传输方案。其次,在已有系统框架的基础上,通过远程网络通信获取图像并实现鱼眼镜头的标定。该标定算法以张正友的棋盘格标定法为基础,设计并实现了适用于该全景视觉系统的鱼眼镜头标定算法,为全景图像拼接的实现奠定了基础。然后,本文在已有算法的基础上提出了一种全景图像拼接算法。该算法以Pn P算法、角点检测算法、迭代最近点求解等相关算法为基础,根据多路镜头的位置关系设计得到。该算法充分利用了镜头的摆放结构,对不同场景的不同镜头架设结构均有较好的适应性,另外该算法有效解决了因特征点不足引起的拼接失败的问题,具备更高的鲁棒性。最后,以正四面体的空间特点确定鱼眼镜头的摆放位置,并设计了基于正四面体的全景图像采集结构,该全景图像采集结构可以确保场景中所有的图像数据均可以采集到。本文根据该结构进行建模并计算得到了相关模型参数用于最终实验。另外,在本文已提出算法的基础上,设计了由模型到图像的全景拼接算法,提高了全景图像拼接的实时性。本文设计了一套全景视觉系统,建立了全景视觉模型,并针对该视觉系统和模型设计了相应的图像拼接算法,该算法充分利用了GPU高速矩阵计算的特点,保证了全景视觉的实时性,另外,将图像处理算法与计算机网络技术相结合,避免了局域网的地域限制,实现了全景视觉的远程观测。