完美定位的塑料袋 - 具有经典的机器视觉和深度学习

机器人技术 | 深度学习

持续自动化的拾取和放置活动需要可靠地抓取不同形状和半透明的物体。 TEKVISA 实施了一种复杂的应用程序,借助 MVTec HALCON 机器视觉软件,依靠 HALCON 的集成深度学习方法,即使在复杂的表面上也能实现可靠的抓取。

带有组装配件的塑料袋可以有多种不同的形状。 特别是在工业过程中,这通常会导致精确识别和自动抓取此类袋子的困难。 其后果之一是生产率下降,例如在拾放活动中。 TEKVISA 的解决方案使用机器视觉软件来可靠且一致地自动化并加速此类流程。

西班牙公司 TEKVISA ENGINEERING 专注于工业环境中用于质量控制和过程自动化的数字检测系统。 自成立以来,TEKVISA 一直致力于为汽车和食品行业等众多行业开发特别用户友好的先进系统。 除了基于深度学习的检测解决方案之外,TEKVISA 还开发复杂的机器人技术和箱式拣选应用程序。

配件袋的精确识别和定位

这位自动化专家为一家领先的办公室墙板制造商开发了机器人辅助拣选系统。 该系统基于具有深度学习算法的机器视觉,可精确检测带有墙板配件的塑料袋,以便机器人能够牢固地抓住它们。 目标是使以前纯手动且耗时的任务完全自动化。 此外,员工也将得到缓解,能够承担更艰巨的任务。

在开发合适的自动化解决方案时,还必须记住,袋子包含大量不同的配件,这反过来又导致尺寸、重量和外观的变化。 此外,它们的形状是随机的,并且由于其弹性,也可能被压缩、拉开或以其他方式变形。

产品差异带来的重大挑战

这种巨大的产品差异给 TEKVISA 的工程师带来了重大挑战。 他们需要开发一种基于机器视觉的灵活解决方案,能够可靠地检测配件袋的所有可能变体,并实现可靠的抓取过程。 系统必须根据袋子的位置和方向来识别最适合由机器人手臂拾取的袋子。 从一开始就很明显,解决方案必须结合经典的机器视觉方法和深度学习等新技术。

该装置由高分辨率彩色区域扫描相机和特殊照明设备组成,可最大程度地减少反射并能够精确检测各个袋子的内容。 该应用的核心是创新的机器视觉系统,可以准确识别传送带上的袋子,以便机器人可以精确地拾取它们。 然后,在最终包装过程之前不久,机器人将它们高精度地放置在待包装的墙板上。

经典机器视觉与深度学习的结合

机器视觉解决方案从袋子的众多形状和位置中选择最佳候选者进行拣选。 为此使用机器视觉软件 MVTec HALCON,该软件拥有超过 2,100 个运算符的库,其中包含最现代、最强大的方法和深度学习应用程序。 深度学习方法“物体检测”尤其满足 TEKVISA 的要求。 使用其包含的深度学习算法,系统首先使用样本图像进行全面训练。 通过这种方式,软件可以了解袋子可以具有哪些不同的特征。 这导致了非常稳健的检测率。 未选择抓取的袋子被分类出来,然后送回到系统中。 通过重新定位它们,它们会在传送带上占据更有利的位置,以便机器人可以更好地拾取它们并放置它们以进行调度。 这样,重叠、叠放的袋子也能被抓取和拾取。 该系统能够使用集成机器视觉软件每分钟分析并精确识别多达 60 个袋子。

通过手眼校准实现相机和机器人之间的完美协调

除了深度学习技术之外,经典的机器视觉方法(也是 MVTec HALCON 的组成部分)也负责实现稳健的检测率。 这里的一个重要功能是手眼校准。 这是预先需要的,以便机器人在操作过程中能够精确地抓取和放置固定 2D 摄像机观察到的袋子。 在手眼校准过程中,校准板连接到机器人的抓臂上并进入相机的视野。 然后拍摄机器人不同位置的几张图像,并相对于机器人的轴位置进行偏移。 结果是相机和机器人的“共同”坐标系。 这使得机器人能够在摄像机预先检测到的位置处抓取部件。 通过以0.1毫米的精度确定物体的准确位置,在抓取过程中可以实现99.99%的命中率。