随着工业生产中对加工精度、速度要求的提高，工业机器人以其高精度、高效率得到了广泛的应用。本文将嵌入式技术同机器视觉相结合起来，构建一个基于嵌入式的视觉跟踪系统，实现移动机器人小车对钢板上轨迹的跟踪。主要需要完成以下几个任务：进行需求分析，选择基于ARM的视觉跟踪方式作为本文的研究方向，选择主频可以达到400MHZ以上的S3C2440芯片作为系统的微控制芯片，完成系统的总体架构设计。对系统各功能模块进行分析，完成相应芯片的选型以及其硬件电路的设计，完成嵌入式硬件开发板设计。针对嵌入式开发需要进行交叉编译的特点，在PC机上构建交叉编译环境并针对设计的特定硬件开发平台进行了BootLoader、内核和根文件系统的移植。构建适合本系统的目标机开发环境。在嵌入式Linux开发环境下考虑硬件计算能力的局限性，设计出适合本系统的基于USB摄像头的图像采集和图像处理的具体程序。对图像进行处理后，提取到了系统在对轨迹跟踪过程中的实时位置信息，并反馈给伺服控制模`块，以便控制器作出相应调节，实现对跟踪轨迹的较高精度跟踪。根据控制系统的数学模型不是很容易能建立的特点，选择PID控制算法对控制器进行设计，设计出PID控制器进行伺服控制。完成了对伺服控制模块的硬件驱动设计，以及控制程序总体设计；并设计出基于Qt/E的图形界面，实时显示跟踪过程中的相关信息，用于人机之间的信息交互。最后对系统进行调试和验证。使用临界比例度法对PID参数进行整定，并对跟踪的偏差信息和速度信息进行分析。研究跟踪性能中存在的不足之处，分析其产生的主要原因，并提出相应的解决方案。实验表明，基于嵌入式的视觉跟踪系统具有较高的实时性和鲁棒性，达到了设计要求，具有低成本、低功耗、小型化的特点，在曲面板剖口切割应用中具有较高的实用价值。