针对单一卷积神经网络对多种复杂背景下手势图像识别准确率较低等问题，提出一种基于改进Xception网络的手势图像识别方法。该方法使用密集连接代替残差连接，在保留跳跃连接效果的同时减少深度可分离卷积模块和网络通道数量，不仅有效利用了网络参数，而且降低了模型大小；其还融合SE模块强化重要特征，采用特征金字塔结构获得包含多尺度语义的特征张量，有助于网络分类。验证实验结果表明，改进网络的计算参数量为原始Xception网络的1/5，对NUS-Ⅱ手势数据集的识别准确率达到99.64%，比原始Xception网络提高了1.09%；对Sign Language for Numbers手势数据集的识别准确率达到99.7%，比原始Xception网络提高了0.15%。与ResNet50、DenseNet121和InceptionV3等常用手势识别网络进行比较，改进网络在训练时间、模型大小、计算参数量和识别准确率方面均表现更优。基于改进Xception网络的手势识别方法在多种复杂背景因素干扰下仍具有较高的识别准确率，其泛化性强、参数量少，综合性能优于许多常用网络。