人工智能技术的发展推动着传统零售行业的不断升级转型,催生出智慧零售为这一新兴零售模式。在智慧零售这一零售模式下,商户可以通过智能设备采集顾客在购物过程中的行为信息,高效地响应顾客购物关注度的变化,优化商品在货架的布局,更加有效地提升零售效率和顾客购物体验。在顾客的行为信息采集过程中,行人的检测与3D定位技术是至关重要的一环。本文主要面向智慧零售场景。基于智慧零售场景下的硬件系统,研究一套可以在多变的零售环境下能够鲁棒的对场景中的行人进行检测与3D定位的系统。本文的主要工作如下:1.多人人体2D关键点检测算法研究。针对一般的行人检测不能精准地对人体区域进行像素级别的定位的问题,本文对人体2D关键点检测算法进行了研究。在人体关键点检测算法的设计与实现中,本文使用高效的特征提取网络和基于偏移的关键点聚类算法,并提出一种针对人体关键点检测任务的正则化训练方法。最终,根据本文设计的算法,使用公开数据集训练得到一个鲁棒的人体2D关键点检测的算法模型。2.轻量级的立体匹配算法研究。针对一般的双目RGB深度相机精度不够高且在双目深度估计时算力消耗过大的问题,本文基于度量学习的策略完成了一套具有优良泛化能力的轻量级立体匹配算法。该算法可以只基于单个像素点的邻域特征完成单点的鲁棒视差估计,视差估计的精度不依赖代价聚合和其他视差后处理操作。算法的算力消耗较小,在实际场景中具有较高的应用价值。3.基于双目相机的人体3D定位算法。结合人体2D关键点检测算法以及轻量级的立体匹配算法,本文首先根据人体结构信息以及零售场景下相机的部署特点设定了稳定的人体特征关键点;然后通过人体匹配的方式对立体匹配算法的视差搜索范围进行动态估计;最后设计了一种基于像素邻域特征的立体匹配代价聚合算法,与前文中轻量级的立体匹配算法相结合,最终获得稳定的人体3D定位结果。4.实际场景下的数据采集与算法评估。由于双目行人检测数据集较少,本文首先在实际的零售场景下搭建了数据采集系统并进行实验数据采集;然后标注采集的真实场景数据中的行人2D信息,并对本文提出的行人2D检测算法的精度进行实验与评估;最后设计行人3D定位实验,验证了本文提出的行人3D定位系统在实际场景下的精度与鲁棒性,完成了本文提出的面向智慧零售的行人检测与3D定位系统在实际的零售场景下整体的表现性能的验证。