目前,基于深度学习的图像感知算法虽然取得很大的进步,但是仅利用图像信息只能帮助智能设备去感知静态的外界环境,无法提取到时序动作信息和关系信息。视频数据在当今社会生活中爆炸性增长,相比于图像数据,视频数据拥有视觉信息,听觉信息,以及时序信息,利用它可以更好地帮助智能设备去感知和理解外界环境。在深度学习领域,视频作为样本输入可以带来更多的信息,也带来了更为庞大的计算量。因此,如何降低视频深度学习算法的计算量已经成为一个重要的研究问题。在很多智能设备上如嵌入式移动终端,机器人、无人机、无人车等均会有视频数据的产生和传输,然而这些设备一般不具有强大的算力资源,传统的基于视频数据的深度学习算法计算量大,无法在低算力的智能设备上顺利部署使用。同时,目前大多数智能设备采集的环境视频数据,一般将数据传输到远程服务端,然后再进行算法处理。由于部分场景如无人驾驶,无人机等要求具有高稳定性,低延时,将视频传输回到远端服务器进行处理不可避免会存在延时问题。因此,亟需在智能设备上部署一套轻量化的视频理解算法,是提升无人设备智能化水平的重要手段。为了解决以上问题,本文首先研究了深度神经网络轻量化技术,在此基础上,深入研究了基于深度神经网络的环境感知和理解算法,构建了基于环境视频作为输入的多模态数据的特征提取和特征融合模型。本文主要研究内容和创新点如下:（1）针对2D神经网络计算量大导致单帧图像特征提取速度慢的问题,本文提出了 Mobile SOSA模块和MEESP模块,基于这两个模块构建了轻量型2D卷积神经网络M-SOSANet。为了验证网络的基础特征提取能力,使用该网络模型进行图像分类的实验,在CIFAR-10,CIFAR-100,ImageNet-1000k 分别到达了 95.64%,78.6%,72.8%的top-1精度,仅有290MFlops的计算量消耗。为了验证网络的泛化性,使用该网络进行语义分割的实验,在PASCAL VOC 2012上达到了 67.8%的mIOU,仅有0.82BFlops的算力消耗。为了分析神经网络在真实设备上的实时性,分别在TITANX,15-8400,嵌入式设备Jetson TX2等三种不同类型设备进行验证,实现结果表明,M-SOSANet在以上三种设备运行的速度分别为180fps,44fps,5fps。（2）针对基于3D神经网络提取视频特征计算量大的问题,对2D卷积神经网络RegNet进行重构设计,构建了轻量型3D卷积神经网络RegNet3D。首先,为了验证神经网络的基础特征提取能力,在较大规模的动作分类数据集SomethingSomethingV2进行实验,达到了 45.07%的top-1精度,相比其他算法,计算量和参数量分别下降8倍和6倍。为了验证网络对局部动作信息的提取能力,在大规模手势分类数据Jester进行实验验证,达到了 90.1%的top-1精度,计算量仅有0.62BFlops;为了验证网络的迁移泛化能力,在中规模的视频数据集UCF-101进行实验,最终达到了 87.4%的top-1精度。（3）针对现有图像分类模型RegNetX-400M无法有效提取视频中的音频模态数据的特征和未经过大规模数据集预训练影响其精度的问题,本文引入了概率知识迁移的知识蒸馏方法。对该网络在著名声音场景分类数据集UrbanSound8K上进行实验,在未引入知识蒸馏时达到了 78.3%的精度,引入之后提升至92.3%。并且该神经网络的计算量仅由0.8GFlops,参数量5.2M。（4）为了更好融合多模态特征,解决传统transformer结构存在计算量大和参数量大的问题,本文提出了跨模态的自注意力机制,使用轻量型transformer变体DeLighT替代原始版本,并结合跨模态注意力机制,构建一套视频描述任务的编码器-解码器模型。本文使用该模型在ActivityNet Captions数据集上进行实验,验证了多模态融合模型的实际视频理解能力。实验结果表明,BLEU@3达到了 4.59,BLEU@4达到1.97,METEOR达到了 8.96,而参数量仅有30M,相比其他算法,参数量下降约50%。实验结果证明,使用本文体系的多模态特征提取网络和融合网络,能够实现面向智能设备的视频理解。