视觉问答是计算机视觉和自然语言处理的结合应用领域,模型需要根据图片和问题的信息进行逻辑推理并做出回答。本文针对视觉问答模型设计了一种用于图片特征提取的层叠注意力机制,该注意力机制由两层不同功能的子注意力机制堆叠组成。第一层注意力机制使用目标检测网络作为基础网络,目标检测网络是一种与图像处理有关的计算机技术,用于检测图像或视频中的语义对象,该层注意力机制将原始图片作为输入,输出图片中物体的特征值,第二层注意力机制将第一层注意力机制的输出和由循环神经网络提取的问题特征作为输入,输出经过问题指导的图片特征,此时的图片特征因为过滤了背景信息,且引入了问题信息,对当前任务有更好的表征能力,实验结果显示层叠注意力机制对计数类问题的回答准确率有较大提升,对其他类问题的回答也有帮助。本文针对Zhou Yu等人提出的基于多模态双线性分解池化的特征融合模块进行改进,改进后的特征融合模块由全卷积层和全局池化层实现,取消了对输入特征维度的限制,使融合模块可以接收多尺寸的输入,并通过使用非线性激活层提升了模型的非线性表达能力。随着深度学习模型的层数逐步增加,模型对硬件设备性能的要求也逐步提高,尤其是在训练阶段,会消耗大量的显存,带宽,磁盘空间和计算资源,这导致深度学习的研究成果难以走出实验室。为了降低视觉问答模型对资源的需求量,本文使用卷积核剪枝算法,计算统计学参数判断卷积核的重要程度,根据设置的阈值裁剪不重要的卷积核。剪枝技术在保证准确率的下降在可接受范围内的前提下,降低模型的显存占用率,前馈传播时延等指标。在测试阶段,本文使用VQA开放型数据集针对各个模块测试其对模型性能的贡献率,并与国内外研究成果进行横向对比。结果显示本文提出的模型,对计数类问题的回答准确率有较大幅度的提升,超过现有模型约5%,对其他类型的问题回答准确率也有提升,总的测试准确率超过现有模型。经过压缩的模型在准确率仅下降0.8%的前提下,将占用的显存空间压缩13%,网络的前馈传播时延降低16%,证明了对视觉问答模型压缩的可行性。