MVTEC HALCON
要实现简单便捷的交互，智能房间必须能够自动辨识房间内的人员并理解其手势。为此，我们在天花板处安装了 CCD 摄像头，以提高这个过程的简便性和可靠性。这里我们主要介绍人手做出的手势。系统首先会通过 CCD 摄像头找到房间内的人员，接着利用颜色信息提取手部区域，然后从手部区域提取手指区域，并识别出手指数。如果提取的手指数为 1，且手部未移动，可确定手指在指向某一方向
我们通过检测头部识别人类。为了降低计算成本，会从头部区域中心建立手部搜索区域。我们将图像转换至 hsv 空间，以降低亮度产生的影响，并在二维色度和饱和度空间中提取手部区域。
手指数是意图传输方法的重要元素。识别手指的过程如图 2 所示。首先减小提取的手部区域 (1)，并去除手指区域 (2)。随后，将区域放大 (3) 为原始大小。两个区域之差（也就是 (1)-(3)）代表手指区域 (4)。这样，手指区域数即等同于手指数。
假设手指数为 1 且手部不动时，手指在指向某个物体。可以将获取的手指区域主轴的方向作为指向方向。假定房间中目标物体的位置已知。随即计算每个物体相对于手部的方向。算出每个物体的方向与得到的指向方向之间的夹角。如果夹角小于特定阈值，则会将形成最小夹角的物体识别为被指向的物体。例如，图 3 中将物体 A 识别为被指向的物体。
我们的实验系统由 PC（Pentium III 500MHz、Windows NT）、图像处理板卡 PXC200、安装于天花板的彩色 CCD 摄像头以及图像处理软件 HALCON 组成。
提取手部区域的实验如图 4 所示。进行头部区域和手部区域提取，识别出手指数为 1。
我们的实验采集了 3 个对象的 200 个样本，手指数 (0-5) 的识别率平均高达 96.0%（图 5）。
我们针对 200 张图像进行了指向 2 个物体的实验，具体如图 5 和图 6 所示。物体之间的夹角设为 60°、45°、30° 和 15°，平均识别率为 87.1%。夹角超过 30° 时，识别几乎不会出错。
到目前为止，已开发出识别手指数和指向方向的方法，并通过实验进行了评估。未来的工作包括构建更加实用的手势识别系统和智能房间。
作者：日本中央大学 Yuichi Nakanishi 先生、Takashi Yamagishi 先生和 Kazunori Umeda 教授
产品/商标的所有产品名称、商标和图片版权均属于其持有者。保留所有权利。
发布日期： 十一月 13, 2020
