煤矿安全事故严重威胁矿工的生命安全和企业的经济效益,由矿工不安全行为导致的安全事故占全部安全事故的85%以上,研究矿工不安全行为识别方法对保障煤矿安全生产意义重大。随着矿山物联网和人工智能等技术的发展,矿工不安全行为识别研究取得了一定的进展。但是煤矿环境具有复杂性和特殊性,当前的矿工不安全行为研究还存在以下三方面的问题。首先,矿工不安全行为存在环境敏感的问题,部分矿工行为判识需要深入分析行为与环境的交互关系,方能判定其是否安全。其次,矿工不安全行为存在样本不足的问题,矿工不安全行为种类繁多,部分矿工不安全行为发生的概率较低,因而样本采集困难。第三,矿工不安全行为实时响应的问题,现有的行为识别模型计算复杂度较高,通常部署在云端服务器,如何保障不安全行为的实时响应特性,也是本论文研究问题之一。本文针对以上问题,开展矿工不安全行为识别方法研究。主要研究内容如下:（1）针对矿工不安全行为环境敏感的问题,采用语义描述的方法将包含矿工不安全行为、交互对象和环境状态等信息的视频片段映射到语义空间,实现矿工不安全行为的统一描述,为不安全行为的判识提供语义支撑。现有的视频描述方法通常是采用编解码方法进行视觉模态和语言模态间的转换。视频模态的特征表达和提取,难以满足细粒度的矿工不安全行为识别要求。为了融合卷积神经网络（Convolutional Neural Network,CNN）的底层和高层的语义特征,采用时空特征表达能力强的卷积长短期记忆网络对CNN不同卷积层输出的特征图进行融合,并采用注意力机制增强相关性语义特征的权重进行时空序列建模。通过在矿工不安全行为数据库和多个视频描述任务的公共数据库上对上述所建模型进行测试,实验结果表明,所提方法优于目前主流的视频语义描述方法。（2）针对矿工不安全行为样本不足的问题,提出一种基于自适应特征融合的元学习方法,实现小样本条件下的矿工不安全行为判识。该方法的主要特点是提出一种自适应的CNN特征图融合方法,有效地将底层的纹理、颜色等信息和高层的语义信息相融合。并采用量子遗传算法将嵌入模型和分类器联合寻优,有效地选择特征表达能力更强的特征嵌入模型。实验结果表明,所提方法在矿工不安全行为识别和多种小样本图像识别任务中优于目前主流的小样本学习方法。（3）针对矿工不安全行为实时响应的问题,提出了基于动态卷积核的轻量型CNN行为识别模型,将模型部署在资源受限的边缘设备,实现矿工不安全行为快速识别。该模型的主要特点是提出了一种基于通道信息去冗余的动态卷积核算子。该算子保留所选通道的部分空间信息,从而增强动态卷积核时空信息的自适应性。然后采用该卷积算子改进二维和三维轻量型CNN并进行矿工不安全行为识别,从而提升了轻量型CNN行为识别模型的特征表示和学习性能。通过在静态图像和视频的矿工不安全行为识别数据库上分别验证改进的二维和三维轻量型CNN行为识别模型。结果表明,该方法不但可以降低基于动态卷积核的轻量型CNN的参数量和计算量,还有效地提升了轻量型网络的卷积层的特征聚合和提取性能。（4）针对CNN行为识别模型的损失约束和优化问题,提出一种层次化自适应损失迁移训练框架（Hierarchical Adaptive Loss Transferring Framework,HALTF）。HALTF包含多个训练阶段,每个阶段在浅层选择性的添加分支损失函数训练轻量型模型,并采用量子遗传算法优化不同层的损失权重,将CNN模型层次化分支损失函数所学到的不同知识进行融合,从而提升CNN的特征学习性能。通过在矿工不安全行为识别数据库和多种公共数据库上实验验证,该方法可以有效地提升模型的特征表达性能。该论文有图54幅,表37个,参考文献192篇。