近年来,随着深度学习技术的不断发展,越来越多的研究人员、企业员工等希望利用深度学习技术来理解视频内容。其中,基于视频的行为识别任务得到了许多研究者的关注。对视频中的人体行为进行识别是计算机视觉领域一个经典的研究课题,在过去的几十年中吸引了无数科研工作者为之奋斗。在工业领域中行为识别任务应用广泛,许多智能产品以行为识别算法为核心实现对视频内容的分析,例如,智能家居,视频检索等,因此,对于视频中的行为进行识别具有广泛的应用前景与现实意义。近些年,由于卷积神经网络能够自动的提取特征而无需人工选择,卷积神经网络在计算机视觉领域任务中取得了巨大的进展,因此,本文利用卷积神经网络作为特征提取器提取视频中优质的行为特征。本文提出一种利用高阶特征进行行为识别的方法,首先利用时序平移方法以更高的效率获取行为的时空特征,并利用双线性模型对时空特征进行编码,将低阶的时空特征编码为高阶特征,从而获得更高的识别准确率。本文中设计了一系列实验,分别验证了时序平移方法提取出的时空特征的有效性以及双线性编码后的特征对识别任务的促进效果。本文在UCF101数据集上进行了一系列实验,以分类的准确率作为评价的指标衡量高阶特征对于分类任务的有效性,并列出本文中方法的参数量来证明本文中的方法在保证识别准确率的前提下利用了更少的参数。实验结果表明时序平移方法可以高效的捕获视频中行为的时空特征,而编码后的高阶特征可以很好的促进识别的准确率。