随着公共场所的监控设备日益完善，可得到的视频数据量不断增大，在传统的监控系统中，海量的数据给操作人员带来了极大的负担，操作人员的工作量在不断增加，而系统的可靠性却在不断降低。为了解决大量视频数据造成的分析困难，智能监控系统的出现成为必然，本文的研究目的就在于利用图像处理、模式识别和机器学习等技术为智能监控系统提供行人和车辆的检测及跟踪分析策略，使监控系统更加智能和可靠。在我们的研究中，将智能监控系统分成了三个部分，依次是行人和车辆目标检测、目标跟踪、后续分析处理。本文主要对系统中的前两个部分进行研究，在目标检测部分采用混合高斯模型对背景进行建模，从而提取出运动前景，在前景检测的基础上，对各个前景块进行分析，区分出包含单个物体的简单前景块和包含多个物体的复杂前景块，对于简单前景块，直接利用其尺度将其归类到行人和车辆目标中，对于复杂前景块提取其方向梯度直方图特征，并结合Adaboost分类器找出其中的行人和车辆目标。在目标跟踪部分，我们讨论了不同目标特征用于跟踪的优缺点，并提出了基于粒子滤波框架和boosting学习的跟踪方法，通过实验得到了鲁棒的跟踪效果。为了实现对形变较大目标的跟踪，我们还提出了目标分块跟踪框架。利用基于条件数的方法提取目标中感兴趣的目标块，在目标块间建立星型拓扑结构进行几何约束。对各个目标块进行跟踪，再利用跟踪结果和目标块间的几何关系估计目标的中心并更新拓扑结构和目标块特征。实验证明该跟踪方法能够对形变较大的目标，如对运动员，实现稳定跟踪。