随着计算机技术和图像处理技术的发展,基于图像的视觉伺服算法由于对环境噪声敏感度低,更有利于实现智能化控制等优点,受到广泛的关注。本文围绕基于图像的视觉伺服算法,做了以下工作：首先,针对利用单目相机进行3D位姿估计时可能出现的伪目标误判问题,提出了一种基于阈值的判别算法。该算法通过对比相机采集的2D图像轮廓和单目标3D位姿估计方法处理得出的2D图像边缘的匹配程度,判定2D图像是否为目标3D物体的投影。在阈值判别法的基础上,提出了一种单目相机处理多个物体的3D位姿估计框架,该方法通过将已检测的图像轮廓填充为背景色,来消除对其它轮廓判定的干扰。然后,针对视觉伺服中采用传统相机视野域有限而采用全景相机则带来图像处理的计算量过大的问题,提出了基于图像的相机角度自适应视觉伺服算法。利用不同相机坐标系之间的变换,计算出相机旋转的变换矩阵。采用极坐标系表示该旋转变换矩阵,计算出相机需要调整的相应角度。该方法有效地缩小了输入图像的信息量,可以降低视觉伺服中图像处理的数据量,提高系统的实时性。