日益广泛的视频应用极大的丰富了人们的生活，也使人们对视频图像处理提出了更高的技术要求和更多的研究方向。人作为各种社会活动的组织者，自然是视频内容所关注的重要的对象，故用计算机视觉来模拟人的眼睛来实现对图像的理解是近些年来的研究热点。基于视频人体运动分析是计算机视觉中的重要的研究课题之一，也是近些年来备受研究者关注的前沿方向。本文主要研究了基于计算机视觉中肢体定位以及人体手部动作的识别过程，主要包括以下几个方面的内容：运动目标的检测与分割、人头的定位与检测、人体四肢的定位与检测、人体运动跟踪、人体手势动作训练与检测等等。本文主要的工作体现在以下几个方面：(1)用混合高斯模型实现了对运动对象的检测与分割，此后对运动对象进行了一系列的图像处理。在此基础上，采用了一种新型的基于Omega形状和Hough圆检测的算法来实现了人头的定位与检测。论文利用了人头类似于Omega形状的特点，采用检测人头与肩部之间的角点来实现人头的粗定位，在这个基础上，采用Hough圆变换来检测人头，成功的实现了人头的定位与检测。这种方法相比于其他的方法加快了人头定位与检测的速度，同时减少了Hough圆检测时人体其他类圆形所带来的误检，提高了检测的准确率。(2)在人头检测的基础上，采用了一种基于U形点的方法来实现对人体肢体的分割。通过人体U形点的检测，可以成功的实现人体肢体的划分，在检测出人体四肢的情况下，为了更好的对人体的手部姿势进行识别，采用了一种简单易行的方法来实现对人体肩部关节，腕部关节的检测，并在此基础上，用卡尔曼滤波来实现对人体动作的跟踪。(3)利用前几个阶段所得到的人体手部动作参数，利用支持向量机来对这些参数进行训练识别。实验结果表明：该算法能够准确的识别出人体手部的简单手势动作，算法的识别效果好，具有较好的鲁棒性。