运动目标自动跟踪是对运动目标检测、提取、识别和跟踪的技术，该技术是计算机视觉系统的核心，在军事、交通、生物、医学等多种领域得到广泛的应用。数字信号处理器(DSP)具有强大的数字信号处理能力，为实时图像处理算法的硬、软件实现提供了强大的支持，有效的克服了过去因运动目标跟踪算法运算量大，硬件实现复杂和投入成本高的问题。本文针对帧差法和背景减法、边缘分割的运动目标形状检测和运动目标颜色检测的算法，在TI ICETEK-DM642上进行一系列实验，并在此基础上分析、比较了帧差法在提取目标的不完整性、背景法适用场合的限制性、边缘分割后续提取目标中心的复杂性、颜色检测方法要完成在整个图片中搜索的特点，提出了一种形状检测和颜色检测相结合的运动目标检测算法，该算法是通过帧差法快速锁定目标的范围，运用基于YUV(亮度-色差)模型的运动目标颜色检测算法在小范围内搜索目标。通过TI ICETEK-DM642的实验验证，该算法可以快速有效的提取红球目标，受光线的影响很小。本文在建立双目模型的基础上，通过目标检测的结果，完成对运动目标重心特征的提取，并进行特征点匹配，得到了目标的三维坐标，计算出目标运动参数，驱动电机跟踪目标。以TI ICETEK-DM642和ICETEK-F2812平台为核心构建了运动目标检测与跟踪系统，在此平台上初步实现了对运动目标的跟踪实验，取得了阶段性的成果。