近年来，人体行为识别技术引起了广泛的关注，在人机交互、动作分析、虚拟现实等领域都有着广阔的应用前景。本文提出了一组基于时空兴趣点的人体行为分析方法，研究人体行为领域中的单人行为和双人交互行为的识别。本文首先给出了常用的三维时空兴趣点的检测和描述方法，并针对常用方法的不足，提出了改进的二维Gabor时空兴趣点检测器，此检测器能够准确、有效而不冗余地提取出视频序列中的时空兴趣点，接着简述了聚类算法和词袋模型的原理以及在行为识别中的应用。然后，利用词袋模型，将底层的时空特征转化为高层的直方图特征，利用主题模型中的PLSA和LDA算法分析视频序列中的潜在主题特征，以此来识别单人行为。针对LDA模型的训练时间较长以及参数不够准确等不足，在原有的三层主题模型的基础上，加入了标签层，提出了一种加标签的LDA模型，它限制了每个视频序列的动作类别要与特定的标签指示器相对应，使得模型参数的训练更加准确和快速，提高了单人行为的识别率。最后，在单人行为识别的基础上，利用马尔科夫逻辑网分析识别双人交互行为。根据训练视频序列，手动建立完备的一阶逻辑知识库，利用马尔科夫逻辑网将概率图模型灵活的概率推理能力与统计关系模型强大的处理不确定性的能力结合在一起，将双人交互行为分解为两个单人行为进行识别，再结合两个行为之间的语义信息，分析得到双人行为的类别。上述算法单人行为识别借助了KTH和Weizmann数据库，双人交互行为识别借助了UT-interaction数据库进行了实验，实验结果表明，本文方法都取得了较高的识别率。