MVTEC HALCON

视觉引导机器人“酒保”供应饮品 - 布雷西亚大学

University of Brescia 开发了一款视觉引导的机器人调酒师,配备两个机械臂,能够识别、开启并为不同啤酒瓶倒酒——由摄像头和 MVTec Software 的 HALCON 驱动。
HALCON
机器人技术
教育、研究与科学
3D 视觉

意大利布雷西亚大学工程系光电实验室的 Giovanna Sansoni 教授领导研究人员开发了一种基于视觉的机器人酒保,可为顾客供应不同品种的啤酒。这套系统由 Denso Europe(荷兰韦斯普)委托开发,旨在展示如何协同使用视觉和机器人系统。

机器人左右臂由两个嵌入到胸廓形状外壳中的 Denso VP-6242G 机器人组成,上面安装了基于 PC 的监控系统。机器人左臂装有气动平行抓取器,可从传送带上拿起啤酒瓶,将酒倒入杯子中;右臂则装有塑料手和开瓶器。

机器人下方有一张工作台,上面有一个可以 180° 旋转的托盘。顾客将空杯放到工作台上之后,机器人酒保会检测到杯子,并用右臂转动工作台以便倒满杯子。然后再次转动工作台,将装满的杯子递给顾客。为采集酒瓶和杯子图像,视觉系统使用两台 IDS Imaging(德国上苏尔姆)的 CMOS 数字 uEye 1540-M 1280 × 1024 像素 USB 2.0 相机,其中一台安装在控制系统监视器顶部,另一台安装在机器人右臂末端。

两台相机都连接到基于 PC 的监控系统,其中运行着德国慕尼黑 MVTec Software 出品的 HALCON 9.1 软件。该软件集成了一套以 VB.NET 编写的运动控制软件例程,使用 Denso 的机器人 Orin 接口。软件可控制工作台旋转,取瓶、开瓶、倒酒操作,以及传送带和机器人处理机构。

系统初始化和标定完成后,由控制器上方的相机采集工作台图像。通过 Blob 分析计算杯子数量。然后,通过图像侵蚀和区域过滤来区分可以倒酒的杯子与倒扣的杯子。

检测到预定义数量的杯子之后,工作台会移动到系统后方,确定每个杯子的中心坐标之后再倒酒。

酒瓶出现在传送带上后,机器人右臂末端的相机会进行定向,以便采集每个酒瓶的图像。由于传送带上可能放有各种不同的物体,因此要通过物体检测和分类例程来确定物体的性质(见图 2)。

如果物体是啤酒瓶,则软件会将传送带上未知啤酒品种的图像与已知酒瓶模板库进行比较,以确定其中盛装啤酒的品牌。确定为正确类型的啤酒后,会将酒瓶从传送带上取下、打开并倒入杯子。视觉引导系统还会处理传送带上放有未知物体的情况;如果检测到,机械臂会将其移除。尽管机器人酒保的开发人员已成功证明系统性能符合预期,但服务机器人不太可能取代人类酒吧工作人员。开发该系统的唯一目的是证明视觉引导机器人在工业环境中的有效性。形状或颜色的缺陷。

作者:Andy Wilson

感谢 Vision Systems Design 提供本文。产品/商标的所有产品名称、商标和图片版权均属于其持有者。保留所有权利。

发布日期: 九月 04, 2013

更多新闻

MVTec MERLIC 26.03 现已上市
借助 MERLIC 26.03,机器视觉应用的开发与运行将变得更加一致且更具可扩展性。该版本引入了统一的 MVTec 版本命名格式(YY.MM),并提供了更简化的、基于软件包的许可模式,同时支持灵活的附加组件。…
了解更多
MERLIC
新版深度学习工具显著提升了 Deep OCR 的性能
凭借 Deep OCR 对齐功能及其他改进,深度学习工具 26.03 提升了 OCR 应用的速度和效率。新模型、优化后的训练以及对 CUDA 12.8 的支持,在降低内存占用量的同时带来了更高的性能。
了解更多
深度学习工具
MVTec Academy 新课程:马赛克拼接——使用 HALCON 进行图像拼接
本基础培训将向您介绍HALCON中的拼接技术。本课程将向您展示如何将多张图像组合成一张大型拼接图像。因此,借助这项技术,您可以生成物体或场景的大幅图像,而这些内容原本无法完全纳入单个摄像头的视野范围内。…
了解更多
Academy
HALCON
使用 HALCON 进行并行编程
本高级培训将向您介绍使用 HALCON 进行并行编程的概念。通过应用并行编程,您可以优化 HALCON 程序的性能,并充分利用多核或多处理器硬件的优势。
了解更多
Academy
HALCON
MVTec 软件管理器 1.6.5:中国地区下载速度全面提升
为提升中国地区用户的软件下载性能,MVTec 现已提供专用的代理缓存服务器。通过 MVTec Software Manager 进行的软件下载将变得更加快速和稳定。
了解更多
MVTec
HDevelopEVO 预览版:最新更新现已推出
更快、更直观且更具交互性的编程体验:所有 HALCON 用户现在均可下载全新的 IDE 预览版。
了解更多
HALCON
MVTec License Server 25.12 新版本发布
借助 MVTec License Server Cloud-Ready 25.12,HALCON 许可证可以借用,从而在网络中断或离线情况下仍可运行。
了解更多
MVTec
MVTec 深度学习工具 25.12 现已发布
2025 年 12 月 04 日,我们发布了 MVTec 深度学习工具的新版本 25.12,从而进一步发展了我们基于人工智能的机器视觉产品组合。
了解更多
深度学习工具
MVTec Academy 全新课程:《图像采集:适用于现代相机技术的接口》
本培训课程将向你介绍 HALCON 中新增的图像采集算子。通过实践练习,你将学习必要的技术术语和概念,并进一步加深理解。
了解更多
Academy
HALCON
HALCON 25.11 现已上市
新版本的 MVTec HALCON 现已可供下载。此次版本再次带来了多项优化与全新功能,其中包括全新的 持续学习(Continual Learning)– 分类 技术,使分类模型的训练与更新过程更加快速、灵活。
了解更多
HALCON
MVTec 线上学院新课程 "通过语言接口进行代码集成"
本高级课程讲解如何在使用 C、C++、C#、Visual Basic .NET 和 Python 编写的软件项目中集成并使用 HALCON 库。
了解更多
Academy
HALCON
MVTec Academy 新课程:使用 GigE Vision 进行图像采集
本高级课程深入讲解如何在 HALCON 中使用 GigE Vision 相机。
了解更多
Academy
HALCON
MVTec MERLIC 5.8 现已上市
MVTec MERLIC 5.8 让视觉应用的开发和运行比以往更加简单,具有改进的错误处理、集中式配方管理以及更快速、更灵活的部署。
了解更多
MERLIC
MVTec Academy 新课程:手眼标定
在本高级课程中,您将学习如何使用 HALCON 进行手眼标定。
了解更多
Academy
HALCON
MVTec License Server 25.08 新版本发布
本次更新使 License Server 更容易作为 Windows 系统服务运行,并提供了更便捷的文档访问。
了解更多
MVTec
新MVTec学院课程“检查条码和2D数据码的打印质量”
在本高级培训课程中,您将学习如何使用HALCON和MERLIC对条码和数据码进行打印质量检测。
了解更多
Academy
HALCON
MERLIC
新MVTec学院课程“缺陷检测”
本基础培训将向您介绍使用MVTec HALCON进行缺陷检测。您将学习不同的方法以及在开发缺陷检测应用程序时需要考虑的因素。随后,您将使用不同方法解决一些具有挑战性的应用案例。
了解更多
Academy
HALCON
MVTec HALCON software box with surfer – new version
HALCON 25.05 现已上市
新版本的 MVTec HALCON 现已可供下载。 HALCON 25.05 引入了形状匹配扩展参数估计的第一次迭代。在此版本中,MVTec 专注于提高 HALCON 的易用性和基于规则的机器视觉。
了解更多
HALCON
MVTec Academy 新课程:“为 MERLIC 开发自定义工具”
本高级培训将向您介绍如何为MERLIC开发自定义工具,以扩展现有的MERLIC工具库。
了解更多
Academy
MERLIC
MVTec 深度学习工具 25.04 现已发布
2025 年 4 月 30 日,我们发布了 MVTec 深度学习工具的新版本 25.04,从而进一步发展了我们基于人工智能的机器视觉产品组合。
了解更多
深度学习工具
MVTec MERLIC 5.7 现已上市
借助新版本 MERLIC 5.7,MVTec 延续了 MERLIC 的既定路线——轻松的流程集成与强大的机器视觉方法相结合。新版本 提高了 MERLIC 运行环境(RTE) 的可用性,并优化了通信接口的操作。
了解更多
MERLIC
全新 MVTec Academy 课程:学习全球上下文异常检测
高级在线课程讲解如何准备数据、训练和应用 MVTec 全球上下文异常检测模型。
了解更多
Academy
HALCON
MERLIC
任务完成:MVTec 圣诞问答活动!
随着我们的圣诞问答活动圆满结束,我们很高兴与大家分享精彩的结果!
了解更多
MVTec
MVTec Software