随着智能交互技术在各个领域的广泛应用和不断发展,手势交互凭借其自然且灵活的特点,越来越具有研究和应用价值。机器视觉主要以图像作为媒介,实现机器对外界信息的智能处理,近年来机器视觉得到了爆发性发展。基于机器视觉的手势交互是当前人机交互的研究热点,而准确且高效的手势检测和跟踪是其实现基础。随着手势交互技术应用场景的复杂化,现有的手势检测和跟踪方案已经难以满足复杂应用场景中对高准确率和高实时性的要求。因此,本文针对目前存在的主流手势检测和跟踪方案展开研究,设计了三个具有更好性能的手势检测或跟踪方案。本文的主要工作如下:1)为了得到一个兼顾高准确率和高实时性的手势检测算法,设计了一种基于YOLOv3网络进行改进的方案。首先使用K-means++算法对手势数据集进行聚类,得到一组更准确的先验框初始值,这有助于网络快速地收敛,并得到全局最优解;然后引入Focal Loss损失函数改进原来的置信度损失,避免了网络对大量简单样本的无效学习过程,这不仅加快了网络的训练速度还提高了对困难样本的检测效果;最后设计了一种基于位置判别的候选框去冗余模块,并将其融入到加权NMS算法中。相较于传统的NMS算法,提出的算法不仅有效地综合了多个高置信度候选框信息,还有效地去除了冗余的预测结果。2)为了实现手势的快速跟踪并兼顾较高的准确率,设计了一种基于Staple算法进行改进的手势跟踪方案。首先结合手势的特点提出了一种精简的CN特征,在不影响跟踪准确率的基础上有效地减少特征的复杂度;然后将精简的CN特征及FHOG特征结合求取相关滤波响应,并在响应阶段与颜色直方图特征响应进行融合。这种特征融合方案不仅考虑了局部的纹理信息还考虑了全局的颜色信息,能够有效对抗手势变形和同义背景等干扰。3)为了实现手势的高准确率跟踪并满足实时性要求,设计了一种基于Siam RPN++算法进行改进的手势跟踪方案。首先细化了训练样本的分类,将负样本对进一步分成简单负样本对和困难负样本,其中困难样本对包含了跟踪过程中常见的同义背景干扰。这种训练方式有效地加强了算法抵抗同义背景干扰的能力;然后将Updatenet网络整合到跟踪框架中,实现神经网络自适应地更新模板。这种模板更新方式能够学习到更加复杂的目标运动规律,而且相较于线性更新方式更不容易产生初始模板信息丢失或者模板误差累积等问题。为了验证以上改进措施得有效性。首先重新生成Egohands数据集的标签,用于手势检测的训练和验证;然后选取部分jester数据集进行逐帧的手势标注,用于手势跟踪的训练和验证;最后自建手势数据集,用于测试改进算法在实际场景中的性能。