近些年来,许多科研人员致力于电子设备创新交互方式的研究,并据此开发了众多人机交互应用。手势分类技术,作为人机交互方式中的重要一环,也逐渐成为了许多现实应用（如手势识别及可穿戴设备的视觉交互）的迫切需求,且应能适用于不同光照、背景等诸多环境。目前,许多现有的方法都能精确地识别手势,但是,在实际应用中依然存在着诸多的挑战,包括:环境的复杂性、不变量的不同性,例如处理时间、执行框架,以及系统的安全性、准确性等等。此外,手势分类技术是当下电子设备展现其智能性的重要领域,因为它提供了创新性的交互方式和通信方法。在实际场景下,视觉交互应用程序需要通过与可穿戴设备进行交互,以准确识别人的手部动作。一般而言,可以将手势动作划分为6类,包括:左移、右移、上移、下移、放大、缩小。本研究开发了一种基于YOLACT（You Only Look at Coefficients）、FRB-SN（Face RecognitionBased Security Network）以及TRN（Temporal Relation Network）的新颖架构。YOLACT是一种用于从背景中分割用户的实时实例分割方法,而FRB-SN与TRN则主要用于用户的识别以及手势的解读。在本研究中,我们使用20BN Jester数据集的分段版本以及VGGFACE2数据集对YOLACT和FRB-SN进行分别训练,并根据YOLACT生成的分段动作视频进行TRN网络的学习。在预测流程中,YOLACT将首先从给定的图像序列中分割用户,然后将结果传给FRB-SN用于用户的检测和识别,最终,TRN模型将预测用户的手势动作,从而实现手势的实时识别。为了测试新提出的模型的性能,本研究进行了一系列相关的实验。实验结果展示出了本实时视觉交互框架的高效性和可靠性,我们会在之后篇幅中详细描述训练和预测的相关实现细节。此外,本研究还对视觉交互、图像分割、动作识别等领域展开了研究。特别地,本研究使用20BN Jester数据集对YOLACT和TRN模型进行训练,该数据集包含一系列在不同背景、环境下的手势视频,契合本模型的实际需求。YOLACT的主要目的是从输入图像中删除不必要的信息,只有从图像前景中提取到的用户才有权限对整个系统进行特定的操作。之后,在将序列传递给动作识别模型以识别相应手势之前,被提取到的图像帧会先提供给FRB-SN网络以识别用户的面部特征。为了测试模型实际的效果,本研究在不同的场景条件下对框架进行了测试。实验结果表明,从各个方面而言,本框架都拥有着优异的帧率和准确率。视觉交互系统能够在7和10 FPS之间运行,而动作识别模型的精度为97.65%。