视频目标的跟踪与行为分析是计算机视觉领域的一个重要问题,并且被广泛应用于监控、人机交互界面、机器人学、视频检索、数码娱乐、基于对象编码等诸多领域。但是,在视频序列中实现稳定鲁棒的跟踪,并智能准确地分析目标运动隐含的语义信息仍然是极具挑战的课题。针对这些问题,本文以序贯贝叶斯理论为基本框架,完成了以下几个方面的探索性工作:1.目前流行的视频目标跟踪算法,无论是粒子滤波还是mean shift,都无法达到准确度和高效性之间的平衡,这制约了它们在高复杂环境下的实时跟踪应用。针对这两种方法各自的优势,本文提出了一种新算法:CamShift引导的粒子滤波(CAMSGPF),来同时提高跟踪鲁棒性和计算效率。CAMSGPF把CamShift作为一个重要性采样密度的优化机制,结合到粒子滤波的概率框架里。同时,在粒子滤波的支持下,CamShift有了更精确的尺度调节能力,并能够以一种简化的形式进行运算,而不牺牲性能。2.在很多监控应用中必须考虑目标数量多且活动范围大等复杂情况,而多目标和主动视觉跟踪技术目前仍主要停留在理论探索阶段。根据实际应用的需要,在本文的第二个工作中设计并实现了一个在复杂背景下的多目标、主动式实时跟踪检测系统。其中,多个相关目标间的互动用马尔可夫随机场进行模拟,保证了相似目标发生遮挡情况下不发生目标混淆。对相机姿态进行线调整,保持摄像机对目标的稳定迅速跟随。另外,在对目标形态进行描述时融合了颜色、Gabor小波和运动信息等多种特征,进一步提高了跟踪鲁棒性。3.视频跟踪的目的是为后续目标行为的智能分析提供底层信息。在现有的时序行为概率模型中,大部分都依赖于平稳时间序列的假设,这个与现实世界不符的假设加大了统计特征与抽象概念间的语义缺口,导致模型无法准确描述行为模式的时域演化。本文对传统隐马尔可夫模型进行推广,提出了一个新的非平稳时间序列模型:时变隐马尔可夫模型(TVHMM)。其中的状态转移密度随状态持续时间而变化,并且在时域上具有连续性,以分级Dirichlet分布进行模拟,从而避免了模型的过拟合。模型的最大后验参数估计则通过马尔可夫链蒙特卡罗(MCMC)采样得到。上述工作在各种视频序列、仿真数值、模拟环境下进行了系统的测试。实验结果表明,CAMSGPF算法在鲁棒性和计算效率上都优于一般的粒子滤波及mean shift跟踪方法;所建立的主动跟踪系统可以在运动迅速、暂时遮挡、目标数量多等各种高难度条件下实现稳定跟踪;所提出的TVHMM模型表现出远优于现有时序模型的识别性能,在走、跑、跳等基本人体活动的识别率上有显著提升。