视频中包含的信息丰富复杂,对视频分析技术的探索和研究得到了各界的高度关注。由于深度学习技术的迅猛发展,深度网络在视频分析中的性能相较于传统机器学习模型有显著的提升,而在视频分析中得到广泛应用。时序行为检测是视频分析工作中基础且具有难度的一项任务,对基于深度学习的检测任务和视频理解工作的发展都具有很大的推动意义。论文针对时序行为检测任务,以典型的端到端时序行为检测模型为基础,在时序多尺度结构、光流特征提取、RGB与光流特征融合三方面开展了研究。R-C3D是典型的用于时序行为检测的端到端网络模型。论文以该模型为基础,对时序行为检测中存在的一些问题进行了研究。视频中往往存在持续时长差异较大的行为,使得基于单一时间尺度的检测算法性能受限的不足,论文设计了两种时序多尺度检测模块,一种采取多尺度特征图融合的方法,一种使用不同支路对不同时长的行为分别进行处理再融合。将两种多尺度检测模块应用到R-C3D网络中,在THUMOS14和Activity Net1.3两个时序行为检测常用数据集上的实验表明,两种网络模块均能提升R-C3D模型的检测能力。视频分类和视频检测任务中常常使用所谓的双流网络,即分别以RGB图像和光流图像作为两个网络输入,然后对二者的处理结果进行融合,得到最终的预测结果。但现有方法没有对双流网络为什么能提升性能进行深入的分析,而且现有的光流计算方法存在计算量大,算法实用性受限的不足。论文对以RGB和光流为输入的时序行为检测网络分别进行了可视化分析对比,说明了光流图像的引入能提供给网络不同于RGB图像的信息,因此将其与RGB图像相结合,可以提升检测网络的检测性能。进一步地,本文提出一种以RGB图像为输入,以光流图像以及光流特征图作为中间监督提取光流特征的时序行为检测模型,可以利用编码器-解码器结构从RGB图像中直接提取光流特征,达到了减少了光流计算的成本且不降低检测性能的效果。传统的双流网络中,采取对RGB和光流两个分支的输出得分进行融合的方式来提升网络的性能,但并未研究在对两个分支的特征图进行融合是否有效。本文对RGB特征和光流特征的融合方式进行了研究,在检测网络的不同阶段对视频的RGB特征和光流特征进行融合实验,并提出了三种融合方法:特征图相加、特征图相乘、特征图连接,发现对双流网络的特征图进行融合能取得比传统双流网络更好的检测结果,且在检测网络特征提取阶段的末端通过特征图连接的方式能取得最好的检测效果提升。