RPAの画像マッチングで枠線を除いて安定させる方法|JobAuto

RPA × WINDOWS APP × IMAGE MATCHING

JobAutoの画像マッチングで、操作対象を選択するときに枠線を含めない方法を紹介します。Windowsアプリのボタンやフォルダを画像で指定する場合、選択状態や画面表示によって見た目が変わる枠線を含めると、実行時に画像が見つからなくなる原因になることがあります。

アプリの起動・接続から、アプリデザインでの画像選択、「【画像】マウス操作」の作成までを操作画像10点で説明します。画像一致率や判定方法など、認識できない場合の確認点も紹介します。

画像マッチングで枠線を含めない理由

JobAutoの画像マッチングは、設定した画像を実行時のアプリ画面から探し、一致した箇所を操作する方法です。画面の見た目を基準にするため、画像に含める範囲が認識結果に影響します。

例えば、フォルダの選択枠や強調表示、アクティブ状態で変わる線が選択画像に含まれていると、別の状態で表示したときに画像が一致しにくくなる場合があります。そこで、操作対象の文字・アイコンなど、比較的変化しにくい内側の部分を選択することが重要です。

枠線をすべて除けば必ず認識するわけではありません。 選択する画像が小さすぎたり、ほかにも同じ画像があったりすると、別の箇所を操作する可能性があります。対象を見分けられる特徴は残し、実行環境で認識できるか確認してください。

枠線を含めた画像を設定したときのエラー例

EXAMPLE / IMAGE NOT FOUND

操作対象の枠線まで含めて画像を指定すると、フォルダの選択状態などが変わった際に「画像が見つからない」エラーになることがあります。以下は画像マッチングで指定画像を検出できなかった場合の例です。

画像マッチングで指定画像が見つからなかった場合のJobAutoエラー画面
画像が見つからないエラーが発生

このような場合は、保存した画像と実行時の画面を見比べ、枠線・選択色・アイコン・文字・表示倍率などに違いがないか確認してください。見つからない原因を枠線だけに限定せず、アクションの判定方法や検索範囲も調べます。

枠線を除いて画像マッチングを設定する流れ

  1. 「アプリを開く」で操作対象のWindowsアプリを起動する
  2. 「起動中のアプリに接続」でアプリのウィンドウへ接続する
  3. アプリデザインで操作対象を枠線の内側だけドラッグして指定する
  4. 右クリックメニューから「【画像】マウス操作」を作成する
  5. 設定した画像に枠線が含まれていないことを確認し、フォーカス・テスト実行を行う

以下はOutlook Expressの「処理済み」フォルダをクリックする画面例です。Outlook Expressはサポートを終了した旧製品です。ここでは画像マッチングの設定方法を説明するための画面例として扱います。

手順1|「アプリを開く」で対象アプリを起動する

STEP 01 / LAUNCH APPLICATION

「アプリを開く」アクションを作成する

ロボデザインで「アプリを開く」アクションを作成します。操作対象となるWindowsアプリを起動するためのアクションです。

JobAutoのロボデザインで「アプリを開く」アクションを作成した画面
アプリを開くアクションを作成

実行ファイルをフルパスで指定する

「プログラム」欄に、起動するアプリの実行ファイルをフルパスで設定します。画面例ではOutlook Expressの実行ファイルを指定しています。

アプリを開くでOutlook Expressの実行ファイルのフルパスを設定する画面
プログラムに実行ファイルをフルパスで設定する

実際の運用では、使用するアプリのインストール先を指定し、ロボット実行PCで正常に起動することを確認してください。

手順2|「起動中のアプリに接続」でウィンドウを指定する

STEP 02 / CONNECT TO RUNNING APP

接続アクションを作成する

続いて「起動中のアプリに接続」を作成します。このアクションは、すでに起動しているアプリのウィンドウをJobAutoの操作対象とするためのものです。

JobAutoの「起動中のアプリに接続」アクションを作成する画面
起動中のアプリに接続をクリック

一覧から操作するアプリを選択する

接続先の一覧から操作対象のアプリを選択します。画像の例ではOutlook Expressを指定します。

起動中のアプリに接続する画面でOutlook Expressを選択した例
OutlookExpressを選択

タイトルが変わる場合は変動部分を .* にする

アプリ内のフォルダ名などによってウィンドウタイトルが変わる場合は、変動する部分を .* に置き換える方法があります。

接続先のウィンドウタイトルで変化する部分をドットとアスタリスクで指定した画面
動的に変わる個所を.*へ書き換える

ここでの .* はウィンドウタイトルの指定に使う設定であり、画像認識そのものの条件ではありません。固定部分を残して、別のアプリやウィンドウへ誤接続しないようにします。詳しくは動的なウィンドウタイトルに接続する方法をご覧ください。

手順3|アプリデザインで枠線を含めず操作対象を選択する

STEP 03 / CAPTURE TARGET IMAGE

「処理済み」フォルダの内側をドラッグする

アプリデザインを開き、画像で操作したい箇所をマウスでドラッグして囲みます。画面例では「処理済み」フォルダの文字やアイコン付近を選択しています。

アプリデザインで処理済みフォルダの内側を枠線を含めずにドラッグ選択した画面
処理済みフォルダを囲む設定

ポイントは、操作対象の外側にある枠線や選択状態で変化する表示をなるべく含めないことです。ただし、画像範囲を狭くしすぎて同じ見た目の箇所が複数できないようにします。

選択範囲を決める基準:枠線を含めないことだけでなく、操作対象を一意に識別できる文字やアイコンが入っているかを確認してください。画面によって色や大きさが変わりやすい部分は、可能であれば選択範囲から外します。

手順4|右クリックして「【画像】マウス操作」を作成する

STEP 04 / CREATE IMAGE MOUSE ACTION

選択範囲を右クリックする

操作対象の画像範囲を選択できたら右クリックし、アクションメニューを表示します。

画像で選択した操作箇所から右クリックメニューを表示する画面
メニューを表示

「【画像】マウス操作」をクリックする

右クリックメニューの「【画像】マウス操作」を選択し、画像を使ってクリックするアクションを作成します。

アプリデザインのメニューから「【画像】マウス操作」を選択する画面
【画像】マウス操作をクリック

このアクションではクリックのほか、ダブルクリック、右クリック、マウス移動などの操作も設定できます。今回は「処理済み」フォルダをクリックする例です。

選択画像に枠線が含まれていないか確認する

作成したアクションの設定画面で、認識対象として選択した画像を確認します。枠線が入っていたり、目的の文字・アイコンが切れていたりする場合は、アプリデザインで選択範囲を設定し直します。

JobAutoの「【画像】マウス操作」設定画面で選択画像に枠線が含まれていないか確認する例

画像の設定が終わったら、「操作対象にフォーカス」で目的の場所が認識されるか確認してから、アクションを実行してください。

画像が見つからない場合に確認する設定

枠線を除いても画像が見つからない場合は、「【画像】マウス操作」の設定を確認します。

項目確認内容
判定方法「見た目で判定」と「特徴で判定」を使い分ける。特徴による判定では画像の特徴が十分に含まれるよう範囲を確認する
画像一致率設定が厳しすぎると、画面に表示されていても見つからないことがある。実際の一致率を確認して調整する
この範囲で探す同じ画像が複数ある場合、座標・比率などで検索範囲を限定できないか確認する
タイムアウト対象画像が表示されるまで時間がかかる場合、画像が見つかるまでの待機時間を調整する
操作対象にフォーカスクリックする前に、指定画像で正しい箇所を認識できるか確認する
ログ必要に応じて一致したイメージショットをログに残し、実行時に認識した対象を確認する

これらの項目はJobAuto公式マニュアル「【画像】マウス操作」で説明されています。

画像マッチングを安定させるための注意点

枠線以外にも見た目が変わる部分がある

ボタンの押下状態、選択色、文字の描画、画面倍率、ディスプレイ解像度などによって、画像の見た目が変化する場合があります。開発PCと実行PCが異なるときは、両方の環境で認識結果を確認してください。

画像を小さくしすぎると別の箇所と一致することがある

枠線を外すために画像範囲を小さくしすぎると、同じような文字や背景が複数の場所で一致する可能性があります。枠線を避けつつ、操作対象を見分けられる特徴は確保しましょう。

アプリの画面表示を更新する

アプリデザインの画像と実際のアプリの画面が違う場合は、アプリデザインの「画像を読込み」で画面を更新します。「操作対象にフォーカス」も使用し、意図した場所が認識されることを確認します。

画像より要素マッチングが適する場合もある

Windowsアプリのボタンや項目を要素として認識できる場合は、要素マッチングを先に検討してください。公式マニュアルでも、要素は画像に比べて実行PCの表示環境の影響が小さく、安定して動作しやすい方式として案内されています。

画像マッチングのチェックリスト

  1. 対象アプリを起動し、JobAutoから正しいウィンドウへ接続できているか
  2. アプリデザインのマッチング方式が「画像」になっているか
  3. 選択した画像に、変化しやすい枠線や選択状態が含まれていないか
  4. 文字やアイコンなど、操作対象を見分ける特徴が十分に残っているか
  5. 「【画像】マウス操作」で目的のクリックパターンを設定しているか
  6. 「操作対象にフォーカス」で正しい箇所に認識が合うか
  7. 「画像一致率」が厳しすぎないか、「特徴で判定」が適するか
  8. 似た画像が複数ある場合に、検索範囲を適切に限定しているか
  9. 画像が表示されるまでのタイムアウトを確認したか
  10. 実行PCの解像度・表示倍率や画面状態でもテストしたか

まとめ|操作画像に枠線を含めず認識精度を確認する

JobAutoの画像マッチングでWindowsアプリを操作する場合は、画像に含める範囲を慎重に選ぶことが大切です。選択状態などで変化する枠線を避け、文字やアイコンといった特徴を残した画像を指定することで、認識エラーを減らせる場合があります。

ただし、枠線を除く設定だけで動作が保証されるわけではありません。判定方法、画像一致率、検索範囲、フォーカス確認を組み合わせ、実行環境で正しくクリックできることをテストしてください。

Windowsアプリの画面操作をJobAutoで自動化

Windowsアプリや業務システムで、画面上のクリック・文字入力などの繰り返し操作を自動化したい方は、JobAutoの30日間無料トライアルをご利用ください。実際のアプリに合わせたマッチング方式の選択についてもご相談いただけます。

“RPAの画像マッチングで枠線を除いて安定させる方法|JobAuto” への1件のフィードバック

  1. […] 画像マッチングで枠線を含めず操作対象を指定する方法 […]

コメントを残す