人体行为识别任务旨在从输入的包含目标人物活动的视频中辨别出其对应的行为类别。研究人体行为识别的理论意义在于推进科技,社会的发展;实际应用包括健身辅导、虚拟现实、城市安全等诸多领域。主流人体行为识别领域的研究方法大多采用RGB与光流融合的形式,从原始视频帧中提取相关特征。针对主流人体行为识别方法存在背景信息干扰,长时时域建模难,以及相关模态未有效利用等问题,本文提出了两种有效优化算法,具体研究内容及结果如下:(1)针对主流方法或多或少地引入了多余的背景信息,从而给神经网络带来了较大的噪声的问题以及图像背景信息存在对特征提取的干扰、视频帧存在的大量冗余信息、样本分类不均衡及个别类分类难的问题,提出一种结合目标检测的人体行为识别算法。首先,在人体行为识别的过程中增加目标检测机制,使神经网络有侧重地学习人体的行为信息;其次,对视频进行分段随机采样,建立跨越整个视频段的长时时域建模;最后,通过改进的神经网络损失函数再进行行为识别;在静态RGB(only)输入的条件下,结合目标检测的人体行为识别算法达在UCF101数据集及HMDB51数据集的准确率分别达到了 96%与75.3%。(2)人体行为识别与人体姿态有很强的相关性,由于许多公开的行为识别的数据集并未提供相关姿态数据,因此很少有将姿态数据进行训练并与其它模态进行融合的识别方法。针对现今deep的方法采用的RGB与optical flow融合的现状,提出了一种多流融合的卷积神经网络。首先,用姿态估计算法从包含人的静态图片生成人体关键点数据,并对关键点连接构建姿态;其次,用RGB图像数据训练空间表征网络,用optical flow数据训练时域运动网络,用生成的姿态图像数据训练姿态表征网络;最后进行分数融合得出行为类别,最终的实验结果表明本文提出的多流卷积神经网络较未改进的双流网络在UCF101数据集及HMDB51数据集的准确率分别提高了 2.3%与3.1%。