3D 视觉技术 - 3D 匹配

Please note: Once you watch the video, data will be transmitted to Youtube/Google. For more information, see Google Privacy.

借助 3D 匹配,即使只有一台相机或深度传感器,也可以识别任意 3D 对象并确定其 3D 姿态。 MVTec HALCON 的 3D 匹配尤其适用于 3D 对齐,即从普通或视差图确定 3D 物体的 3D 位置和朝向,例如汽车和机器人应用、拾取和放置应用(参见右侧视频中的示例)以及抓取应用。

3D 深度匹配 Deep 3D Matching

Deep 3D Matching result in MVTec HALCON

HALCON 引入了一项基于深度学习的 3D 视觉创新,尤其适用于料箱抓取和拾取放置等应用。该功能在精确确定训练对象的位置和旋转方面表现非常稳定,具有参数设置简单、执行速度快的优势。根据不同的精度要求,用户可以使用一个或多个经济高效的标准 2D 相机来确定物体位置。训练过程完全基于由 CAD 模型生成的合成数据,因此无需额外的训练。用户在HALCON24.11中即可使用此功能,为此,请随时联系MVTec关于模型训练及应用评估事项。在HALCON的下一版本中,我们将推出该功能的训练及评估。

通用盒查找器

HALCON 通用盒查找器
通用盒查找器无需训练即可找到不同大小的盒子。

对于取放应用,HALCON 提供了通用盒查找器。 它允许用户在预定义的高度,宽度和深度范围内定位不同大小的盒子,而无需训练模型。 这使许多应用的效率显著提高-特别是在物流和制药行业,通常使用各种不同尺寸的盒子。

另一种应用的可能性是在 3D 对齐后测量几何特征并在复杂的 3D 对象上定位缺陷。

3D 匹配(基于形状 不 基于表面

3D 匹配
通过匹配已知 3D 物体的多个 2D 视图,确定该物体的 3D 位置和朝向。

进一步地,还可以在 3D 对齐后测量复杂 3D 物体的几何特征并定位缺陷。

对普通图像中的物体确定其 3D 姿态时,可以使用基于形状的 3D 匹配。它通过使用由 CAD 模型表示的 3D 物体的多个 2D 映射图,将基于形状的 2D 匹配技术扩展到 3D。对视差图中的物体确定其 3D 姿态时,可以使用基于表面的 3D 匹配。它结合了 3D 点云数据和视差图的边缘信息。因此,即使是没有突出边缘,在普通图像中不会显示出明显灰度值边缘的平滑物体,也能稳定可靠地确定姿态。为了获得最高精准度,两种方法都支持在全 3D 空间中进行姿态优化。