论文部分内容阅读
大多数视频行为识别任务中都是同等处理网络提取到的时空信息,为了忽略无关信息而关注重点信息,本文设计了含有压缩奖惩机制的卷积神经网络结构,用于视频行为识别.该网络结构基于时间分段网络构建,首先将视频分为多个等长片段,从每个片段随机提取堆叠光流图像和RGB视频帧,将其分别输入到含有压缩奖惩机制的时间与空间双流卷积神经网络,通过压缩与奖惩操作,对网络提取到的特征进行加权,根据加权后的时间与空间特征分别在时间与空间两个通道上对行为作出初步预测;然后对每个片段的时间与空间初步预测结果分别融合,得到视频级预测结