论文部分内容阅读
随着煤矿智能化程度的提升,智能监控系统在煤矿生产安全中也发挥着愈发重要的作用。对矿井视频场景进行分类,不仅能够为井下视频监控工作提供有价值的参考信息,同时也能为矿井异常事件的排查提供基础。因此,如何准确对矿井视频场景进行分类已成为煤矿视频处理领域的研究热点之一。现有场景分类方法缺乏对矿井视频信息的研究,本文以具有复杂背景的井下视频数据为研究对象,结合视频特征提取、自注意力理论研究了基于深度神经网络的井下视频场景分类方法。(1)为引导更多具有判别性的特征参与分类,本文给出了一种基于改进损失函数的井下视频场景分类方法。该方法首先利用深度卷积神经网络对井下视频图像进行降噪;其次,结合CNN网络和BiLSTM网络学习降噪后的视频时空上下文特征;最后,采用Center loss和Softmax loss进行联合监督分类,以Center loss作为新的具有判别性的正则化项,从而保留类内样本和类间样本的几何分布,实现井下视频场景的多分类。(2)为挖掘更多的视频场景显著信息,本文给出了一种基于分级自注意力的井下视频场景分类方法。该方法首先利用CNN网络提取视频的空间特征,对于空间特征利用一次自注意力计算视频图像的像素关系并加权,使得图像中的显著像素得到较大权重;其次,利用BiLSTM网络提取井下视频的时序上下文特征,并再次利用自注意力对视频帧序列的特征权重进行计算加权,使得视频帧序列中的显著帧特征得到较大权重;最后,利用Center loss和Softmax loss实现井下视频场景的多分类。(3)在煤矿数据集上对给出的两种方法进行了实验验证。实验结果表明,与已有的视频场景分类方法相比,本文给出的基于改进损失函数的分类方法和基于分级自注意力的分类方法能够有效提高井下视频场景分类的准确率。同时,本文还对Center loss和注意力作用结果进行了可视化,分别分析了其对井下视频场景分类的影响。