3D 视觉技术 - 3D 匹配

Please note: Once you watch the video, data will be transmitted to Youtube/Google. For more information, see Google Privacy.

借助 3D 匹配,即使只有一台相机或深度传感器,也可以识别任意 3D 对象并确定其 3D 姿态。 MVTec HALCON 的 3D 匹配尤其适用于 3D 对齐,即从普通或视差图确定 3D 物体的 3D 位置和朝向,例如汽车和机器人应用、拾取和放置应用(参见右侧视频中的示例)以及抓取应用。

3D 深度匹配 Deep 3D Matching

深度学习和基于规则的方法实现前所未有的检测率

深度三维匹配是一种基于深度学习的新技术,可使用二维图像进行快速、稳健的三维物体检测和姿态估计。该技术只需最少的参数设置即可实现高性能,是垃圾箱拣选和机器人搬运等应用的理想之选,即使在极具挑战性的条件下也是如此。 

  •  金属加工和内部物流中的料箱拣选
  •  汽车行业中的机器人辅助质量保证
  •  多变量生产中的 CAD 模型对象识别
  •  利用摄像头支持灵活的机器人引导

作为同类技术中的佼佼者,深度 3D 匹配技术将先进的深度学习算法与基于规则的方法相结合,实现了前所未有的极高识别率。该技术对背景、物体排列、部件颜色或材料的变化具有很强的适应能力。即使图像中存在异物,也不会对识别结果产生负面影响。

灵活的摄像机设置

MVTec HALCON 的深度 3D 匹配结果
三台摄像机从不同角度拍摄图像。

应用最好采用灵活的相机设置:不同数量的二维相机从不同角度生成图像。这样可以将模糊和假阳性结果降到最低。安装的摄像头越多,识别率就越高。理想的摄像头数量取决于具体应用。

  • 校准工作量小
  • 使用廉价的二维摄像头可降低硬件成本
  • 可灵活定位摄像头,例如在可移动的机械臂上,以提高精确度并扩大视场。

利用合成图像数据进行高效训练

HALCON's Deep 3D Matching
培训包括自动增强功能,以加强数据变化。

深度三维匹配还能简化训练:
,只需要合成生成的图像数据。这些数据可以利用待识别物体的 CAD 数据全自动生成。

  • 节省大量成本和时间
  • 无需对图像进行标注
  • 高识别率所需的参数水平较低

如果需要,也可通过 MVTec 委托提供模型训练的付费服务。

转到服务

通用盒查找器

HALCON 通用盒查找器
通用盒查找器无需训练即可找到不同大小的盒子。

对于取放应用,HALCON 提供了通用盒查找器。 它允许用户在预定义的高度,宽度和深度范围内定位不同大小的盒子,而无需训练模型。 这使许多应用的效率显著提高-特别是在物流和制药行业,通常使用各种不同尺寸的盒子。

另一种应用的可能性是在 3D 对齐后测量几何特征并在复杂的 3D 对象上定位缺陷。

3D 匹配(基于形状 不 基于表面

3D 匹配
通过匹配已知 3D 物体的多个 2D 视图,确定该物体的 3D 位置和朝向。

进一步地,还可以在 3D 对齐后测量复杂 3D 物体的几何特征并定位缺陷。

对普通图像中的物体确定其 3D 姿态时,可以使用基于形状的 3D 匹配。它通过使用由 CAD 模型表示的 3D 物体的多个 2D 映射图,将基于形状的 2D 匹配技术扩展到 3D。对视差图中的物体确定其 3D 姿态时,可以使用基于表面的 3D 匹配。它结合了 3D 点云数据和视差图的边缘信息。因此,即使是没有突出边缘,在普通图像中不会显示出明显灰度值边缘的平滑物体,也能稳定可靠地确定姿态。为了获得最高精准度,两种方法都支持在全 3D 空间中进行姿态优化。