进入21世纪，新的农业生产模式和新技术的应用促进了农业机械的更新和发展，智能农业机械的技术条件逐渐成熟，自走式农业机械的田间自动导航、机器视觉检测与农业机器人的研究得到重视，国家自然科学基金和863计划都给予很高的支持力度。就果实收获自动化而言，机器人必须能够感知外部环境，判断果实的成熟度，根据机器人和目标物之间的距离进行行走路径规划，避开障碍物对成熟水果实施采摘。因此，机器人的智能化程度是必须解决的首要问题。从目前的技术水平来看，农业机器人智能系统的发展还不够完善，其智能程度远没有达到农业生产的需要。研究适合生产实际的果实收获机器人关键技术，不仅具有理论意义，而且具有潜在的应用前景。　　 果实的自动识别与3D定位以及成熟度检测是研究果实采摘机器人三大关键技术。本论文在充分了解果实采摘自动化的国内外研究成果基础上，针对果实采摘机器人研究中存在的问题，以番茄采摘为主要研究对象，着眼于解决自然环境下成熟期果实与背景有色彩差异的果实目标自动识别与双目定位问题，研究快速而稳定的算法。具体研究的主要工作包括：　　 1.经过参考同类研究和调研，构建了开展研究所需的主动双目视觉系统和标定实验台，并采集了不同天气环境下大量的番茄图像作为图像分析的主要数据。　　 2.针对在自然环境下采集果实图像时受到光照剧烈变化的影响和传统方法不能直接用于彩色图像进行亮度校正的问题，提出基于L*a*b*颜色模型下亮度自适应校正算法来改善RGB彩色果实图像，在解决图像改善效果过亮或过暗问题的同时，不但保留了图像处理的自适应特点，而且不丢失原图像的颜色信息，达到了改善光照对图像质量影响的目的。为提高图像处理的实时性，可通过亮度分量平均值的大小来决定是否需要图像的亮度自适应校正。通过对大量图像进行亮度分析，结果发现：弱光照下整幅图像的亮度分量平均值较低，小于40；而强光照下整幅图像的亮度分量平均值较高，大于100。正常光照情况下是不需要进行亮度调整的。　　 3.图像分割是采摘机器人视觉中极为重要而且困难的内容之一，分割的好坏直接影响着后续的处理。目前这项研究仍在果实无叶子或树枝遮盖的相互分离的理想情况下进行，基本上都是针对特定果实进行研究的，通用性不强，分割效果也因方法而异，不能动态适应因果实品种变化和光照变化。作者针对自然光照下成熟期果实与背景有色彩差异的果实图像进行分割的问题，通过采集的大量图像数据，在颜色特征分析和提取的基础上，从多个角度尝试了不同的方法进行果实图像分割。通过比较分析，确定了不同生长状态下果实图像的自动分割方法：利用RGB颜色空间下番茄图像中目标与背景的(R-G)灰度值存在明显差异的特点，首先使用Otsu法对番茄的RGB彩色图像的色差灰度图像(R-G)进行动态阈值分割，然后对番茄的R分量灰度图像应用基于形态重建的受控标记分水岭算法搜索靠拢或重叠番茄的分界线，最后对前面两次运算的结果作交集运算得到最终分割的二值图像，将番茄从背景中分割出来。试验表明，该方法不仅能对自然光照条件下不同生长状态的多目标番茄图像进行有效分割，而且对番茄的成熟度及品种差异也具有很好的鲁棒性。这个内容是本研究主要创新点之一。　　 4.以番茄采摘为例，在二值图像形态学处理的基础上，对番茄的形状特征和纹理特征进行了提取和选择，并根据所选择的特征量确定了番茄识别与生长状态判别流程。通过对754幅图像的处理，对于选择性收获而言，采摘成熟和完熟番茄的正确识别率几乎为100％，除了番茄淹没在成片枯叶中而分水岭算法不能分离的情况和单果被枝叶分为多果的误判。采摘半熟程度以上番茄的正确识别率约为80％。　　 5.针对番茄的选择性收获，对人工选择的样本集进行特征数据的分析，提出将番茄的红色调所占着色面积比与黄绿色调所占着色面积比的差值作为主要分组特征，并结合着色区域整体色调均值和方差，用神经网络建立番茄成熟度的检测模型。从网络的抗干扰能力和运行效率两个角度来看，将面积比差值和色调均值作为网络的两个输入时，网络运行是最佳的。在小干扰下，网络能保持较低的误判率。当噪声水平在0.1时，正确判别率可达到76.28％。　　 6.从双目定位的几何模型出发，归纳了双目定位的基本过程，总结了立体视觉的摄像机标定问题，进行了基于2D圆控制点的摄像机模型建立和标定试验，得到了定焦距双目系统的内外参数，并对标定进行了精度评价。分析了变焦距摄像机的工作原理，指出了变焦距双目系统定位3D目标存在的问题：变焦距双目系统能获得目标识别所需要的清晰图像时，基于视差的双目定位几何计算所需的摄像机内参数如何实时获取。　　 7.针对传统的基于视差计算的双目视觉定位几何模型不能适应变焦距双目系统的目标定位问题，提出了一种基于2个Ward网络联合工作的的采摘机器人双目视觉系统测量模型。该方法借助两个Ward网络的联合工作建立一种隐含的视觉测量模型来代替几何数学模型，将各种不确定因素包含在神经网络中，不要求预先建立成像系统的非线性关系，也不需要具体求出摄像机的内部参数，从而避免了基于视差计算的定位方法中的摄像机内参数实时获取的困难、略去了图像校正、误差修正等中间过程。尽管网络适应摄像机内参数变化是以付出拟合精度为代价的，但是实验表明，训练好的模型从深度距离223mm到1183mm的有效视场内，能较好地适应摄像机内参数变化实现较高精度的果实目标定位，3个方向的合成误差不超过±5mm的定位可靠度达到88.584％。真实的番茄3D定位试验结果表明，其测量精度是可以接受的。另外，根据透视缩放现象建立目标轮廓沿主轴方向的像素长度与深度距离之间的关系，从而估计果实的外形尺寸。这个内容是本研究另一个主要创新点。　　 8.基于MATLAB开发了一个较为完整的番茄采摘机器人双目视觉软件，但是存在的问题是软件的执行效率低，不利于实时应用，对底层硬件的控制能力差。尝试了Visual C++调用MATLAB引擎进行软件的快速开发方法，该方法利用Visual C+++对硬件底层控制能力强的特点，可解决控制数字云台等硬件控制问题，但是基于MATLAB引擎的图像处理部分运行效率不高仍然是整个软件的致命缺点。