利用视觉系统简化机器人水果采摘 - ACRO 研究所

为了解决比利时农场主寻找可靠季节性工人的难题，自动化研究和教育中心 (ACRO) 研究所开发了一款机器人苹果采摘机。ACRO 是比利时林堡天主教大学学院的衍生公司和技术顾问，还为欧洲共同体提供 PLC 和机器视觉技术培训与研究。

欧洲标准规定，专业种植园的果树高度必须在两到三米之间。自动化研究和教育中心 (ACRO) 的自动水果采摘机 (AFPM) 使用独特的真空抓取器设计来采摘水果并简化视觉系统和机器人控制器之间的协调。AFPM 平台安装在普通农用拖拉机后面，为 Panasonic 工业机器人“采摘”水果提供支持（见图 1）。

AFPM 苹果采摘机还包括用于供电的发电机、水平稳定单元、用于扩大操作范围的第七外部垂直轴、SICK 安全扫描装置、Siemens 中央控制单元和带有人机界面 (HMI) 的触摸屏 PC。MVTec 的 HALCON 图像处理软件为机器人提供导航坐标，而在运输过程中可以折叠的遮篷和窗帘可以减少环境光的影响（见图 2）。AFPM 只需要拖拉机上有一名驾驶员，它可以同时有效地处理六名工人的工作量。

最具挑战性的问题之一是水果抓取器的设计。抓取器的最终设计采用了一台 IDS UI-2230RE-C uEye USB 2.0 彩色相机加上包围相机的一个白色柔性硅胶锥体。锥体连接着一台可逆真空机/鼓风机（见图 3）。

将相机放置在抓取器内之后，相机的位置完全可控。相机可以将其光轴指向苹果，减少图像失真，同时也省去了苹果采摘过程中重复校准的步骤。最后一个优点是，相机不会受到碰撞或恶劣天气条件的影响，也不会受到阳光直射。

苹果采摘机移动到果树前方，且围绕 AFPM 平台的遮篷打开后（见图 4），需要使用不同的液压脚和升降机系统主动稳定采摘机。装置自动调整后，相机从 40 个预编程的位置扫描果树。这样就会将每棵树分成 40 个扇区或图像。

机械臂的编程位置和方向会随每张图像一起存储。位置数据存储在 PC 的 RAM 中。图像处理软件会识别每个扇区中所有成熟的苹果，将其列出，再通过一个循环任务逐个采摘。

平台经过专门设计，可以最大程度地控制光照条件，利用遮篷覆盖整棵树，利用 AFPM 平台减少环境光照条件变化的影响并提供统一的背景（蓝色），以方便定位苹果（红色和绿色）。

图像处理在配备 2 GHz Pentium IV 微处理器和 1 GB RAM、运行 Windows XP 的工业 PC 上进行。据 ACRO 项目的首席设计师 Eric Claesen 介绍，AFPM 设计人员选择了 MVTec 的标准机器视觉库 HALCON 7.1 作为图像处理软件，因为它准确可靠。该系统可以采摘一棵树上 85% 的苹果，成效接近人工采摘作业。

系统校准过程中，第一步是使用苹果树叶子的颜色和蓝色的背景遮篷训练系统。使用一系列颜色阈值处理步骤来滤除这些不需要的特征。首先从 40 张图像中的每一张中过滤出蓝色，然后过滤出树叶。通过颜色阈值来定位苹果表面的绿色和红色部分。经过降噪处理后，利用 HALCON 的 opening_circle 和 select_shape 卷积，填充图像中的空洞，让苹果的位置清晰地显现出来（见图 5）。通过分水岭过滤将单个苹果从一串苹果（如有）中分离出来之后，选择每个苹果并将其转换为一个圆形。

为了摘一个苹果，机器人必须确定相机和苹果之间的距离以及到达苹果的路径。相机通过三角测量来测量这一距离。测量分几个步骤进行。首先由相机采集图像，然后转动相机以使苹果位于中心（见图 6）。然后由相机采集第二张图像，最后通过处理这两张图像来计算直径。此时，视觉系统会确定苹果的尺寸是否在可接受的范围内。如果是，则通过 Profibus 连接向机器人控制器发送信号，允许机械臂继续朝向苹果。

在接近苹果的同时，对多张图像进行处理，通过三角测量计算到苹果的剩余距离，同时以大约 300 立方米/分钟的速度通过抓取器吹风，让水果从可能遮蔽它的叶子中显现出来。对于采集的每张图像，系统使用专有公式计算剩余距离。由于苹果会在图像中保持居中，因此给定苹果在后续图像中的相关性很低。接近选定的苹果后，通过采摘装置吹风，吹开苹果周围的叶子。一旦苹果进入抓取器周围一个明确定义的范围，真空装置就会激活。检测到真空之后，轻轻旋转并倾斜苹果，将其摘下，然后放到一边。