深度学习 — AI

借助这些工具,您可以使用深度学习技术对图像进行分类。深度学习 (DL) 一词是指一系列机器学习方法。MERLIC 提供方法分类和异常检测工具。区别特征是异常或先前定义的类。

分类图像

检测异常

在全局上下文中检测异常

查找对象

以像素精度划分图像

许可要求

要使用属于“深度学习 — AI”类别的 MERLIC 工具,必须满足以下许可条件之一:

  • 您拥有 MERLIC 软件包“X-Large”的许可。
  • 您拥有一个其他 MERLIC 软件包(“Small”、“Medium”、“Large”)的许可以及“深度学习”附加组件的额外许可。所购买的深度学习附加组件数量决定了您在 MVApp 中可使用的深度学习 — AI 类别的 MERLIC 工具的数量。
    • 如果只购买并激活了一个附加组件,则允许每个 MVApp 仅使用一个深度学习 — AI 工具。
    • 如果购买并激活了 2 个附加组件,则深度学习 — AI 工具的数量不受限制。

AI 加速器硬件的支持

MERLIC 附带用于 NVIDIA® TensorRT™ SDK 和 Intel® Distribution of OpenVINO™ toolkitArtificial Intelligence Acceleration 接口 (AI²)。它们让您能够使用与 NVIDIA® TensorRT™ SDK 或 OpenVINO™ toolkit 兼容的 AI 加速器硬件在具有深度学习功能的 MERLIC 工具中优化推理深度学习模型。因此,可以显著缩短深度学习推理时间。

要获取有关 AI² 接口的更多一般信息,例如系统要求以及如何在 MERLIC 中使用可通过 OpenVINO™ toolkitNVIDIA® TensorRT™ 加速的硬件,请参阅 用于具有深度学习功能的工具的 AI² 接口 主题。

常见用例

使用此概述来找到合适的深度学习工具。

任务

工具

使用

将整个图像分类为一组给定类中的一个类。

如果您有一个数据集,其中所有类都用等量数据表示,并且所有类的数据量充足,请使用此工具。分类模型可以在训练期间明确地学习特征。因此,此方法很可能比异常检测的效果更好。

分类图像

例如,区分“”样本和“”样本。若要成功区分,您必须首先训练深度学习模型分清哪些图像属于“”类别,哪些图像属于“”类别。要训练神经网络,请使用 MVTec Deep Learning Tool。工作流程如下:先定义类,然后相应地为图像添加标签,最后训练深度学习模型。训练将生成一个所谓的分类器。将此分类器导入 MERLIC 并应用于新图像。这些图像随后将被分类到先前定义的类中。

为每个像素分配其显示未知特征的可能性。输入图像的每个像素会分配到一个匹配度,指示它显示未知特征(即结构异常)的可能性。

使用此工具查找图像中的结构异常,以区分“良”样本和“差”样本。“良”样本是指没有缺陷的图像,而“差”样本是指图像缺陷。

如果您只有很少的图像,或您不知道缺陷稍后会以什么方式出现,此工具是一个很好的解决方案,因为您只需使用良样本来训练模型。

检测异常

要查找异常,您首先需要训练深度学习模型。针对良样本(没有异常)的表现进行训练已足够。差样本是可选的,但可以帮助改进模型。训练结束后,深度学习模型将能够判断新图像是否存在缺陷以及缺陷位于图像的哪个位置。

为每个像素分配其显示未知特征或违反图像内容限制的可能性。这种可能性以分配给输入图像的每个像素的匹配度的形式返回。它表示在较小范围内显示结构异常(如未知特征)或在较大范围内显示逻辑异常(如图像内容限制违规)的可能性。

使用此工具查找图像中的结构或逻辑异常,以区分良样本(即没有缺陷的图像)和差样本(即有缺陷的图像)。

如果您要在大范围内搜索逻辑异常,此工具是一个很好的解决方案。然而,要训练用于在全局上下文中检测异常的深度学习模型,需要大量图像。只要有足够大的数据集可用,这应该没有问题,因为 MVTec Deep Learning Tool 设计用于处理许多图像。

因此,如果有大数据集可用于训练模型,则在查找结构异常时也可以选择工具“在全局上下文中检测异常”,因为通过 MVTec Deep Learning Tool 使用大量图像比通过 MERLIC 工具“检测异常”中的训练模式来训练深度学习模型要容易得多。

在全局上下文中检测异常

要在全局上下文中查找异常,首先需要使用 MVTec Deep Learning ToolMVTec HALCON 训练深度学习模型。将此深度学习模型导入 MERLIC 并应用于新图像。深度学习模型将能够判断新图像是否存在缺陷以及缺陷位于图像的哪个位置。

查找预定义类的对象,并在图像中定位它们。根据所使用的深度学习模型,还可以获得对象的相应区域。

如果您有一个数据集,其中所有类都用等量数据表示,并且所有类的数据量充足,请使用此工具。深度学习模型可以在训练期间明确地学习特征。例如,您可以使用这个工具来拾取对象并将其放置在正确的位置。此外,您还可以使用该工具通过实例分割模型来区分相同类的多个实例。

查找对象

要使用该工具定位对象,首先需要训练一个深度学习模型,然后将其作为该工具的输入。您可以使用经过 MVTec Deep Learning ToolMVTec HALCON 训练的深度学习模型来进行对象检测或实例分割。深度学习模型将能够识别给定类的对象,并标记对象在图像中的位置。

使用用于语义分割的深度学习网络将图像的每个像素分配到给定的类,并识别属于同一类的像素区域。

在以上示例中,输入图像被划分为四个不同的类。输入图像的每个像素都被分配到一个类,但“apple”类的三个不同实例和“orange”类中的两个不同实例都不是已区分的对象。

语义分割的一个特殊情况是边缘提取,其中模型经过训练以区分两个类:
“边缘”和“背景”。

与实例分割不同,语义分割方法不能区分相同类的多个实例。如果您的应用程序需要区分同类对象,可以使用“查找对象”工具。

以像素精度划分图像

要以像素精度将图像划分成预定义的类,需要先使用 MVTec Deep Learning ToolMVTec HALCON 训练一个用于语义分割的深度学习模型。然后,您可以在 MERLIC 工具“以像素精度划分图像”中使用此深度学习模型并将其应用于图像。当将鼠标指针移动到工具面板中的图像上时,鼠标指针上会显示一个包含分割信息的标签。它显示了分配给当前鼠标位置的像素的类名称以及相应的置信度。