随着人工智能和深度学习的快速发展,跨模态识别研究有了很大的突破。视频描述生成是一个结合了计算机视觉与自然语言的跨模态任务,它的目的是将给定的视频转换为人类可以理解的自然语言序列。简而言之,理解视频的内容对于视力正常的人来说是件简单的任务,但是对于机器或视力残障人士来说却是困难的,它可以帮助视力残障人士理解视频中的信息。视频描述生成在视频检索、人机交互等众多领域都有潜在的应用前景,这需要对视频和自然语言两种模态进行复杂的语义理解。视频包含动态的信息、复杂的动作和对话场景,从视频的视觉内容中提取和理解丰富的语义具有很大的挑战性。此外,自然语言的语法复杂,视频的帧序列与文本描述之间没有明确的对应关系,这增加了视觉-语言翻译的难度。本文提出了一种语义增强的视频描述生成方法。该方法基于编码器-解码器网络框架。在编码端,模型利用卷积神经网络来提取视频特征,并进行计算和融合。之后,该模型使用了一个循环神经网络对视觉特征进行进一步的编码。在解码端,模型使用循环神经网络生成描述语句,并利用注意力机制,在生成描述单词的不同时间步权衡不同局部的特征。最后,方法采用强化学习的思想计算语义奖励,对模型进行优化。此外,在语义增强优化的基础上,本文进而提出了一个拓展模型,即双流关注的视频描述方法。这种拓展模型使用两个循环神经网络分别对视频的表观视觉特征和动作视觉特征进行编码,并采取更加细粒度的注意力机制,实现了多特征的异步融合。本文使用多个评价指标对所提模型生成的描述进行了评估,实验证明了所提方法的有效性。