随着机器人技术和信息技术的不断发展,基于视觉的未知物体识别技术和机器人自主抓取技术作为机器人为人类提供自主抓取服务任务的基本能力,越来越受到相关领域研究者的重视。该技术可被广泛应用在辅助医疗、智能家居、智慧工厂等诸多领域,从而极大扩展机器人的应用范围和应用前景。然而,相对于实验室环境下的机器人未知物体识别和自主抓取研究,在真实环境下,机器人面临着背景环境复杂,物体模型未知及人类个体行为间差异性大等众多严峻挑战。因此,如何使机器人在真实环境中,依据人类典型行为的识别理解,主动抓取目标物体,完成为人类提供自主抓取服务是一个需要克服的难题。机器人准确实现对未知物体的识别和对人类日常生活中一些典型抓放行为的有效识别,是其能够完成自主抓取任务的核心能力。其中未知物体识别为机器人自主抓取任务提供抓取决策能力,完成对物体可抓取性判断,对可抓取物体种类识别和对物体抓取区域识别。人类抓放行为识别为机器人自主抓取任务提供上层决策能力,实现对人类典型抓取、放置和移动物体行为的有效识别。本文采用3D视觉传感器作为机器人主要的感知工具,主要研究人机协作背景下,机器人完成自主抓取物体任务中关键的视觉识别问题,并将其划分为三个关键问题:真实环境中适合抓取物体的识别问题,未知模型物体抓取区域的识别问题,以及不完整数据序列下人类抓放行为的识别问题。首先,人类抓放行为识别部分为机器人自主抓取任务提供抓取目标;然后,可抓取物体识别部分检测识别出适合机器人进行抓取的目标物体;最后,未知模型物体抓取区域识别部分获取目标物体的抓取区域及抓取位姿,并生成机器人的抓取规划。本文将对上述三个关键的视觉识别问题展开研究。针对训练数据不足情况下,传统可抓取物体识别方法识别效果差、泛化能力不足的问题,本文提出一种基于分等级特征-多任务学习机制的可抓取物体识别方法。首先,采用基于浅层核特征和自学习特征的分等级特征学习方法,从有限训练数据中高效的学习物体高等级图像特征描述;然后,将可抓取物体识别问题分解为物体可抓取性判别和可抓取物体种类识别两个子任务,并构建一个由粗到细的多任务学习机制;最后,设计一种多任务损失函数对两个识别任务同时进行约束,实现对多任务模型的联合优化。其中物体可抓取性判别结果是物体抓取区域识别的前提条件,而可抓取物体种类识别结果则可识别出目标种类物体所在区域。实验结果表明,该方法能够实现对可抓取物体快速、准确的识别分类,并在真实环境中取得良好的识别效果。针对机器人对未知模型物体的抓取识别问题,本文提出一种基于深度卷积神经网络结构的物体抓取区域识别方法。该方法无需建立物体模型,可通过物体一对RGB-D图像信息,识别出适合机器人抓取的物体区域及抓取位姿。首先,将机器人对物体的抓取问题形式化为一个对图像中抓取区域的识别问题,并采用深度卷积神经网络模型来解决这一问题;然后,为了提高模型对多通道信息的处理能力,设计一种多通道视觉信息融合方法,显著降低模型过拟合风险;其后,采用一种基于反馈机制的候选抓取区域生成算法,对物体上输出概率最大化的抓取区域实现快速搜索;最后,对抓取区域的六自由度位姿进行有效估计,并生成机器人的期望抓取位姿。实验结果表明,该方法在真实环境下对未知模型物体的抓取识别效果优异,验证了方法的有效性和强泛化能力。人类行为是一种具有高度不确定性的时序信息,由于人类个体习惯不同,即使同一类别的人类行为也差异巨大。为了从不完整图像序列信息中实现对人类抓放行为中典型抓取、放置和移动行为的有效识别,本文提出一种基于改进循环卷积神经网络结构的人类抓放行为识别方法。首先,将人类抓放行为的识别问题形式化为一个可端到端训练的编码-解码问题;然后,通过卷积网络模型和长短期记忆模型学习表征人类抓放行为空间信息和时序信息的抽象特征;其后,通过改进模型损失函数处理人类抓放行为图像序列信息初始阶段的高噪声和歧义性问题,并使模型能够利用不完整序列信息,尽早完成对人类抓放行为的识别;最后,通过大量采样数据样本、合理的数据放大及设计模型训练步骤,实现对模型的训练优化。实验结果表明,该方法对噪声不敏感、鲁棒性强,能够实现对人类抓放行为中抓取、放置和移动物体行为的有效识别。本文搭建机器人自主抓取实验平台,设计依据人类抓放行为识别结果的机器人自主抓取策略,并开展机器人抓取未知模型物体实验和有人类参与的机器人自主抓取实验。实验结果表明,机器人可在真实环境下实现对未知模型物体的有效抓取,且机器人可依据人类抓放行为意图的识别结果做出抓取决策,完成对目标物体的自主抓取任务。