通过图像处理支持智能房间

教育、研究与科学 | 分类 | 过滤技术

近年来，对智能房间的研究逐渐兴起。这类房间日益显现其重要性，不仅有助于改善医疗服务和提升幸福感，还可用于办公室或普通房屋。毫无疑问，可传达人类意图的人机接口是打造智能房间的重要组成部分。本报告介绍了采用图像处理技术支持智能房间的示例。

智能房间手势识别概况

要实现简单便捷的交互，智能房间必须能够自动辨识房间内的人员并理解其手势。为此，我们在天花板处安装了 CCD 摄像头，以提高这个过程的简便性和可靠性。这里我们主要介绍人手做出的手势。系统首先会通过 CCD 摄像头找到房间内的人员，接着利用颜色信息提取手部区域，然后从手部区域提取手指区域，并识别出手指数。如果提取的手指数为 1，且手部未移动，可确定手指在指向某一方向。

提取手部区域

我们通过检测头部识别人类。为了降低计算成本，会从头部区域中心建立手部搜索区域。我们将图像转换至 hsv 空间，以降低亮度产生的影响，并在二维色度和饱和度空间中提取手部区域。

识别手指数

手指数是意图传输方法的重要元素。识别手指的过程如图 2 所示。首先减小提取的手部区域 (1)，并去除手指区域 (2)。随后，将区域放大 (3) 为原始大小。两个区域之差（也就是 (1)-(3)）代表手指区域 (4)。这样，手指区域数即等同于手指数。

识别指向方向

假设手指数为 1 且手部不动时，手指在指向某个物体。可以将获取的手指区域主轴的方向作为指向方向。假定房间中目标物体的位置已知。随即计算每个物体相对于手部的方向。算出每个物体的方向与得到的指向方向之间的夹角。如果夹角小于特定阈值，则会将形成最小夹角的物体识别为被指向的物体。例如，图 3 中将物体 A 识别为被指向的物体。

实验

我们的实验系统由 PC（Pentium III 500MHz、Windows NT）、图像处理板卡 PXC200、安装于天花板的彩色 CCD 摄像头以及图像处理软件 HALCON 组成。
提取手部区域的实验如图 4 所示。进行头部区域和手部区域提取，识别出手指数为 1。
我们的实验采集了 3 个对象的 200 个样本，手指数 (0-5) 的识别率平均高达 96.0%（图 5）。
我们针对 200 张图像进行了指向 2 个物体的实验，具体如图 5 和图 6 所示。物体之间的夹角设为 60°、45°、30° 和 15°，平均识别率为 87.1%。夹角超过 30° 时，识别几乎不会出错。