マッチングで位置決め

このツールでは、マッチングによりオブジェクトを位置決めします。

概要

このツールは、トレーニングモードとともに使用されます。 これは、指定されたトレーニングパラメーターで最初にトレーニングが位置決めされることを意味します。トレーニングパラメータを設定するか変更するとトレーニングは自動的に開始します。

その後、同じツール内で、別の画像を使用してトレーニング済みのモデルをテストすることができます。

マッチングでオブジェクトを配置するとき、最初にオブジェクトのトレーニング済みモデルの検索が画像内で行われます。モデルの例が発見されれば、それはオブジェクトとしてカウントされます。

ツールでは、ツールボード の左にトレーニングエリアが表示されます。トレーニングエリアでは、各画像をクリックすると、検索の処理モードとマッチングモデルのトレーニングのトレーニングモード間を切り替えることができます。グラフィックスウィンドウには、現在有効なモードの画像が表示され、トレーニングエリアで青色にハイライトされます。左上の検索パラメータに加えて、このツールには、右上にトレーニング用のパラメータが表示されます。

トレーニングが必要なツールの使用方法の詳細については、トピックトレーニングモードの使用を参照してください。

ツールボード は、ツールバー の左側のトレーニングエリアと右側のグラフィックウィンドウに分割されます。

トレーニングパラメーター

トレーニングエリア

グラフィックウィンドウ

トレーニング設定の定義

トレーニング画像の選択

ツールボード の左の最初の画像は、現在読み込まれている画像を表し、第 2 の画像はトレーニング画像を表します。

このツールで、トレーニング画像として使用できる画像はひとつだけです。ツールを挿入すると、現在の処理画像が自動的にトレーニング画像として使用されます。さらに、トレーニング画像は以下のステップでも変更できます:

1. 目的の画像が表示されるまで、グラフィックスウィンドウで、したがって、「処理」エリアでアプリケーションをシングルステップで実行します。
2. 左側のトレーニングエリアの ボタンをクリックして、現在のトレーニング画像を「処理」エリアの画像と置き換えます。トレーニングモードは自動的に有効になり、グラフィックスウィンドウに新しいトレーニング画像が表示されます。

マッチングモデル

このツールには easyTouch および easyTouch+ を利用することができます。 したがって、アライメント用のマッチングモデルを対話的に選択できます:

1. ツールボード の左側のトレーニング画像をクリックします。グラフィックスウィンドウにトレーニング画像 が表示されます。マッチングモデルを選択すると開始します。
2. 画像にマウスを合わせて、モデルの関心領域 (ROI) のプレビューを表示します。あるいは、ROI 選択ボタンでモデルの ROI を描画します。easyTouch でトレーニング用にモデルを選択するとき、プレビューしたモデル ROI の色 (長方形内のオブジェクトの色) を ROI の適合性を示すインジケーターとして利用できます。精度、スケール、回転不変性は、基本オブジェクトのコントラスト、サイズ、形状で決まります。各種の色には以下のような意味があります:
   • 良好であると思われるモデル ROI は、「合格」に定義された色 (例、デフォルトで緑色) でハイライトされます。
   • モデル ROI が「警告」に定義された色 (例、デフォルトで黄色) でハイライトされると、モデルエッジの欠落や不足などの理由でトレーニングには適していないことを表します。
   • 不正モデル ROI は、「不合格」に定義された色 (例、デフォルトで赤色) でハイライトされます。長方形が画像境界に近すぎると、赤色に表示されますが、これは処理画像でそのオブジェクトが部分的にしか表示されないおそれがあるためです。
3. アライメント用にハイライトした ROI を使用するには、その ROI をクリックして選択を確定します。対応するトレーニングパラメーターが自動的に決まります。

検索設定の定義

検索パラメータの調整

トレーニングパラメータと違って、左側の検索パラメータは自動的には調整されません。これらは、アプリケーションの画像に依存しており、それに応じて調整が行われるからです。

トレーニングと検索パラメータの現在の設定が適切かどうかを確認できます。アプリケーションを一連の画像と一緒に実行すると、トレーニングしたマッチングモデルが画像内に正しく見つかるかどうかをグラフィックスウィンドウでただちに確認できます。必要に応じて、パラメータをさらに調整できます。

エリアの制約

オブジェクトの検索は、「処理領域」と「ROI検索」で決まるエリア内で範囲で行われます。

重心が、この検索範囲内にある場合、オブジェクトが返ります。重心がオブジェクトの外部にある場合、検索領域に重心がおさまるよう検索領域を調整してください。こうしておけば、そのオブジェクトは検索できます。

一部が画像から外れているオブジェクトは処理対象になりません。

パラメーター

基本パラメーター

画像:

このパラメーターは、オブジェクトがある画像を表します。それはマッチングモデルを決定するトレーニング画像や 決定されたマッチングモデルをテストする処理画像としても使えます。

色画像をこのツールの入力として使用すると、最初のチャンネル (赤いチャンネル) のみが処理の対象になります。

最小スコア:

このパラメーターは、位置決めのためにマッチングを行う精度を表す数値です。このパラメーターは、マッチを見つけるために、トレーニング済みモデルをどのくらい可視化するか決定します。デフォルト設定値は 0.5 です。これは、画像でモデルの半分が隠れることを意味します。対応するコネクターでその値を変更できます。 値は、0.1 から 1 の範囲の数に設定することができます。「最小スコア」が大きいほど、高速で検索できます。画像でモデルが隠れるおそれがなければ、「最小スコア」に 0.8 または 0.9 など、値を大きく設定できます。

検索速度を上げるには、収縮された画像のいわゆるピラミッドを使用します。マッチングには、認識されるすべてのレベルで十分な大きさのスコアが必要です。そのため、オリジナル画像のスコアが最低スコアよりも大きくても、収縮レベルが高いと十分に認識されないためにマッチングが除外されるおそれがあります。これらのマッチングの欠損は、最低スコアを下げると見つかることがあります。

現在の「最小スコア」は、アプリケーションを段階的に実行してテストできます。また、表示されるオブジェクトがすべての画像で正確に位置決めされているかをチェックできます。

方向許容範囲:

このパラメーターは、画像にオブジェクトを表示する回転の許容範囲を設定します。幅は度数で定義され、デフォルト設定値は 180°です。対応するコネクターで、「方向許容範囲」を 0° から 180° の範囲の角度に変更できます。

オブジェクトの最大数:

このパラメーターは画像の中でカウントする「オブジェクトの最大数」を定義します。パラメーターの設定値はデフォルトで 1 です。 対応するコネクターでその値を変更できます。「オブジェクトの最大数」の値を増やすと、検索時間がん延びることがあります。

追加パラメーター

ROI検索:

このパラメーターは、処理用の関心領域 (ROI) を定義します。ROI と「処理領域」の結合部分の外側にある画像部分は処理の対象外になります。また、そのどちらかが空の場合、他の一方の内部にある画像部分は処理されます。どちらも空の場合、画像全体が処理されます。 ただし、easyTouch でマッチングモデルを選択すると、画像全体が処理の対象になります。

デフォルトで、「ROI」は空 ROI として定義されます。空でない ROI を処理に使用する場合は、前のツールの適切な ROI 結果にパラメーターを接続するか、使用可能な ROI ボタンで新しい ROI を画像に描画します。

マッチングの検索発見では、2 つのモデル ROI の 1 つだけが検索範囲内にあるなど、トレーニングしたモデルの一部だけがあれば十分な場合があります。ただし、トレーニングしたモデルがこのエリア外の場合、マッチングは見つかりません。

キャリブレーションデータ:

このパラメータでは、レンズの歪みの補正と画像平面を基準にしたカメラの位置の補正に必要なキャリブレーションデータを定義します。デフォルトで、キャリブレーションデータは定義されません。キャリブレーションデータを使用するには、キャリブレーションデータがこのツールに送信されるよう、このパラメータを カメラキャリブレーション など、前のツールの適切な結果に接続します。結果は直ちに画像に適用されます。

このツールで「キャリブレーションデータ」を使用する場合、ピクセル値を表すすべての結果は、対応するワールド座標に自動的に変換されます。

アライメントデータ:

このパラメータは、ROI のアライメントに使用するアライメントデータを表します。デフォルトでは、アライメントデータが接続されていないため、効果はありません。特定のアライメントデータを使用するには、マッチングによるアライメント、直線境界でアライメントを決定、画像をアライメント、あるいは 画像を回転 など、パラメータを適切な前のツールの結果に接続します。

変形許容範囲:

このパラメーターは、オブジェクトの最大変形許容範囲を設定します。このパラメータはピクセル単位で定義され、デフォルト設定値は 1 ピクセルです。これは、トレーニング済みモデルの形状から最大 1 ピクセル変形したオブジェクトも検出されることを意味します。値を手動で入力する場合、対応するコネクターで、0 から 5 px 以上の範囲の整数値でその値を変更できます。値を 0 に設定すると、変形のないオブジェクトのみが検索対象になります。しかし、特に微細な構造を持つオブジェクトでは、「変形許容範囲」が大きいほど、誤ったオブジェクトが検索されるリスクが高くなります。

そのため、「変形許容範囲」には可能な限り小さく、必要最小限の大きさの値を選択する必要があります。モデルの変形が画像でどの程度になるかが予想できる場合、「変形許容範囲」の値はそれに応じて調整できます。「マッチング手法トレーニング」が「形状ベース」に設定されている場合、「変形許容範囲」のみが有効です。

最大オーバーラップ:

このパラメーターはカウントするオブジェクトの最大許容オーバーラップを定義します。現在のオーバーラップの許容値を定義します。オーバーラップは、オブジェクトそのものの領域ではなく、オブジェクト周囲の最小外接矩形で決定します。したがって、2 つのオブジェクトの実際の領域は交差していなくてもそれらのオブジェクトが重複することもあります。この「最大オーバーラップ」はパーセント値で表され、デフォルト設定値は 50% です。このとき、カウントの対象になる検索画像における最大許容閉塞面積は、オブジェクトの最小周囲矩形の 50% です。50% を超える面積が塞がれているオブジェクトはカウントできません。対応するコネクターで、「最大オーバーラップ」の値を 0 から 100 の範囲の値に変更できます。値を 0 に設定すると、重複のないオブジェクトのみが検出されます。ただし、「最大オーバーラップ」が高ければ高いほど、誤ったオブジェクトが検索されるリスクが高くなります。

処理領域:

このパラメーターは、処理する領域を定義します。ROI と「処理領域」の結合部分の外側にある画像部分は処理の対象外になります。また、そのどちらかが空の場合、他の一方の内部にある画像部分は処理されます。どちらも空の場合、画像全体が処理されます。

デフォルトで、「処理領域」は空の領域として定義されます。「処理領域」を指定するには、領域が現在のツールに渡されるよう、パラメーターを前のツールの適切な領域結果に接続します。

easyTouch で、マッチングモデルを選択すると、画像全体で処理が実行されます。

トレーニングパラメーター

基本トレーニングパラメーター

マッチング手法トレーニング:

このトレーニングパラメーターは、トレーニングモデルの決定に使用されるマッチング手法を定義します。パラメーターの設定値はデフォルトで「形状ベース」です。 対応するコネクターで「マッチング手法トレーニング」を変更できます。

値	説明
形状ベース	このマッチングアプローチでは、輪郭の形状によってトレーニング済みモデルを説明します。 画像で形状モデルのベストマッチを検索するマッチング手法を使用してトレーニングモデルを設定するには、この手法を使用します。
相関関係ベース	このマッチングアプローチでは、含まれるピクセルのグレイ値関係によってトレーニング済みモデルを説明します。 オブジェクトまたはパターンのマッチングに正規化相互相関 (NCC) を使用するマッチング手法を使用してトレーニングモデルを設定するには、この手法を使用します。

追加トレーニングパラメーター

追加トレーニングパラメーターは、関連するマッチング手法別にリストされます。他の手法のパラメーターは、設定できますが、得られるトレーニングモデルには反映されません。

結果

基本結果

中心点:

この結果はオブジェクトの位置決めされた中心点のグラフィック表示を含みます。グラフィックス表示は、点 ROI として返ります。ROI の形式で点を実処理するには、この結果を使用します。

スコア:

この結果は、見つかったオブジェクトが検索したトレーニング済みモデルとマッチした数を表す数値を返します。結果は 0 から 1 の範囲の実数として返ります。 スコア の値が 1 の場合、見つかったオブジェクトはトレーニング済みモデルと 100% の精度でマッチします。ひとつ以上のオブジェクトが見つかった場合、対応するスコアがタプルとして返されます。

X:

この値は位置決めされたオブジェクトの中心点の X 座標を含みます。ひとつ以上の明るい先端が発見された場合、対応する X 値がタプルとして返されます。

Y:

この値は位置決めされたオブジェクトの中心点の Y 座標を含みます。ひとつ以上の明るい先端が発見された場合、対応する Y 値がタプルとして返されます。

方向:

この結果では、トレーニングしたモデルの向きを基準に見つかったオブジェクトの向きの角度が返ります。

ツール状態:

「ツール状態」はツール状態の情報を返します。したがって、エラー処理に使うことができます。さまざまなツールの状態結果の詳細については、 ツール状態 結果 のトピックを参照してください。

追加結果

モデルエッジ:

この結果には、トレーニング済みモデルエッジの輪郭が含まれます。

方向矢印:

この結果は、トレーニングに使用した ROI の「方向矢印」を表します。輪郭の形式で返ります。

処理時間:

この結果は、ツールの直近の実行の持続時間をミリ秒単位で返します。結果は、追加結果として提供されます。したがって、デフォルトでは非表示になっていますが、ツール結果の横にある ボタンを使用して表示できます。詳細については、ツールリファレンス概要の処理時間の節を参照してください。

アプリケーションの例

このツール、以下の MERLIC Vision App 例で使用します:

• measure_distance_to_center_led.mvapp