目前,大部分机器人通过在线编程的方式来完成预先设定的功能,但是智能化水平相对有限,无法主动学习新的任务和应对新的环境.设计一个基于语音交互和神经网络的机器人自主学习系统,一方面系统根据任务需求,利用Kinect深度传感器采集目标的颜色和深度信息进行目标的检测和特征提取,通过语音识别自动生成神经网络模型的训练样本,用于训练和更新神经网络模型;另一方面基于神经网络模型识别目标,通过自然的语音交互方式控制机器人的运动.通过仿真和真实机器人实验验证了自动训练未知事物模型的机器人学习系统的可行性,其中还对机械臂进行了坐标校正和轨迹规划,这样无论是在笛卡尔空间还是在关节空间内,机械臂都能平滑稳定地运动,保证了路径的平滑和工作的安全性.实验结果表明,基于本文设计的自主学习系统可以快速学习和完成新的任务,具有很好的扩展性,适用于不同的任务需求的应用场景.