RPAの画像マッチングで基準画像からクリック位置を指定する方法|JobAuto

RPA × WINDOWS APP × IMAGE MATCHING × CLICK POSITION

Windowsアプリで同じ見た目のボタンやフォルダが複数あるとき、区別できる画像を基準にクリック位置を指定する方法を紹介します。国産RPAツール「JobAuto」の「【画像】マウス操作」では、操作対象を探すための画像とクリック位置を設定できます。

Outlook Expressで「受信トレイ」が2つ表示される例を使い、区別しやすい「お気に入り」の画像を選択し、赤い十字のクリック位置を下側の受信トレイに合わせる方法を操作画像12点で説明します。

同じ画像が複数あると、違う場所をクリックすることがある

画像マッチングは、あらかじめ指定した画像に一致する箇所を画面から探し、その場所を基準に操作する仕組みです。同じ見た目の画像が複数存在する場合、どちらを操作するか一意に特定できないことがあります。

次の例では「受信トレイ」が上下に2つ並んでいます。下の受信トレイを操作する設定をしたつもりでも、画像が同じであれば上の受信トレイが選択される可能性があります。

Outlook Expressの画面で受信トレイが二つあり画像だけでは区別しにくい例
受信トレイが2つある

このような場合、操作する「受信トレイ」をそのまま画像として指定するのではなく、近くにある別の場所と区別できる「お気に入り」を基準画像にして、実際のクリック位置を調整する方法があります。

重要:画像の選択範囲が画面内でユニークであることと、実際のクリック位置が目的の箇所を指していることは、両方確認が必要です。JobAutoの公式FAQでも、同じ画像が複数ある場合は、区別できる画像・検索範囲・クリック位置を調整する方法が案内されています。

画像の基準位置とクリック位置を分ける仕組み

今回の方法には、役割の異なる2つの位置があります。

位置役割今回の例
基準画像JobAutoが画面から探す、区別しやすい画像「お気に入り」の表示部分
クリック位置画像認識の結果を基準に、マウスを操作する位置下側の「受信トレイ」

「【画像】マウス操作」の設定画面では、赤い十字でクリック位置を調整します。画面例に合わせて、基準画像の「お気に入り」を認識し、下側の受信トレイをクリックする構成にします。

画面のレイアウトが変わり、基準画像とクリック先との位置関係が変化する場合は、クリック位置を再確認してください。

画像を基準にクリックする設定の流れ

  1. 「アプリを開く」でWindowsアプリを起動する
  2. 「起動中のアプリに接続」で操作対象のウィンドウへ接続する
  3. アプリデザインで、操作先ではなく区別しやすい「お気に入り」の画像を選択する
  4. 右クリックメニューから「【画像】マウス操作」を作成する
  5. 赤い十字を使い、下側の「受信トレイ」をクリックする位置へ調整する
  6. 「操作対象にフォーカス」の「すぐにフォーカス」で結果を確認する

ここではOutlook Expressの画面を使います。Outlook Expressはサポートが終了した旧製品のため、新規導入を推奨するものではありません。画像マッチングの考え方は、同じような部品が並ぶWindowsアプリの操作にも応用できます。

手順1|「アプリを開く」で対象アプリを起動する

STEP 01 / LAUNCH APPLICATION

「アプリを開く」アクションを作成する

ロボデザインで「アプリを開く」アクションを作成します。このアクションは指定したプログラムを起動するために使用します。

JobAutoでアプリを開くアクションを作成した画面
アプリを開くアクションを作成

プログラムの実行ファイルを指定する

アクションの「プログラム」へ実行ファイルのフルパスを設定します。画像例ではOutlook Expressの実行ファイルを指定しています。

起動するOutlook Expressの実行ファイルをフルパスで設定する画面
プログラムに実行ファイルをフルパスで設定する

実際の運用では、使用しているWindowsアプリの実行ファイルを設定し、正常に起動することを確認してください。

手順2|「起動中のアプリに接続」でウィンドウを指定する

STEP 02 / CONNECT TO APPLICATION

「起動中のアプリに接続」を作成する

アプリが起動したら「起動中のアプリに接続」アクションを作成します。アプリの起動と、起動中のウィンドウへの接続は別の操作です。

JobAutoの起動中のアプリに接続アクションを選択する画面
起動中のアプリに接続をクリック

接続するアプリを一覧から選ぶ

接続先の一覧から目的のウィンドウを選択します。今回の例ではOutlook Expressを選びます。

起動中のアプリからOutlook Expressを接続先に指定する画面
OutlookExpressを選択

ウィンドウタイトルが変わる場合の設定

表示中のフォルダ名によってウィンドウタイトルが変化する場合は、変動する箇所を .* で指定する方法があります。

ウィンドウタイトルの変動部分をドットとアスタリスクに変更する画面
動的に変わる個所を.*へ書き換える

ここでの .* はウィンドウタイトルの接続条件に関する設定です。画像マッチングの判定や、基準画像からのクリック位置を指定するものではありません。別のウィンドウへ誤接続しないように、変わらない文字はできるだけ残します。

詳しくは動的なウィンドウタイトルに接続する方法をご覧ください。

手順3|「お気に入り」を基準画像として選択する

STEP 03 / SELECT UNIQUE IMAGE

同じ画像がない箇所を選ぶ

アプリデザインを表示し、画像マッチングで認識させる範囲をドラッグして選びます。今回は「受信トレイ」が2つあるため、直接受信トレイを選ばず、ほかの場所と区別しやすい「お気に入り」の表示部分を選択します。

アプリデザインで受信トレイではなくお気に入りの画像を基準として選択した画面
お気に入りを選択

選択した画像の周囲に、状態によって変化する枠線や選択色が含まれている場合は、できるだけ避けてください。必要な特徴が残るよう範囲を設定します。

ユニークな画像の条件:画像がユニークであるとは、アプリ画面内でほかの場所と区別できることです。「お気に入り」という文字やアイコンが別の箇所にもある場合は、選択範囲を見直し、周辺の特徴を組み合わせて区別できるか確認します。

手順4|右クリックから「【画像】マウス操作」を作成する

STEP 04 / CREATE IMAGE MOUSE ACTION

選択した画像を右クリックする

アプリデザインで画像の選択範囲を指定できたら、右クリックして操作メニューを表示します。

お気に入りの画像範囲を右クリックして操作メニューを表示する画面
メニューを表示

「【画像】マウス操作」を選ぶ

表示されたメニューから「【画像】マウス操作」を選択します。画面上の画像を認識し、その結果を基準としてマウス操作を行うアクションです。

画像を基準にクリックするための画像マウス操作アクションを選択する画面
【画像】マウス操作をクリック

今回は「クリック」を行います。JobAutoの「【画像】マウス操作」では、クリックのほかにダブルクリックや右クリックなども設定できます。

手順5|赤い十字を下側の受信トレイへ合わせる

STEP 05 / ADJUST CLICK POSITION

基準画像とクリック先を区別して設定する

「【画像】マウス操作」の設定画面で、クリック位置を示す赤い十字を調整します。基準画像は「お気に入り」ですが、実際にクリックしたい場所は下側の「受信トレイ」です。

画像マウス操作で赤い十字のクリック位置を下側の受信トレイへ調整する画面
クリック位置を調整

JobAutoの公式マニュアルでは、クリック位置をX・Y座標で設定する機能が説明されています。画像を認識できていてもクリック位置がずれていると、別のフォルダを操作する可能性があります。

位置の関係に注意:画像の基準にする表示とクリック先の位置関係が変わると、設定したクリック位置が合わなくなることがあります。ウィンドウサイズや画面レイアウトを変更した場合には、再度フォーカスとテスト実行で確認してください。

手順6|「操作対象にフォーカス」でクリック位置を確認する

STEP 06 / VERIFY FOCUS

「すぐにフォーカス」を選ぶ

アクション設定後、「操作対象にフォーカス」→「すぐにフォーカス」を実行します。設定した画像とクリック位置が、意図した操作箇所を指しているか確認するための機能です。

操作対象にフォーカスからすぐにフォーカスを選んでクリック位置を確認する画面
すぐにフォーカスをクリック

目的の受信トレイを指しているか確認する

設定した操作対象にフォーカスが当たります。下の受信トレイをクリックする想定であれば、その位置へフォーカスしていることを確認します。

基準画像を認識して設定した受信トレイのクリック位置にフォーカスが当たった画面
設定した箇所にフォーカスが当たる

別の場所へフォーカスした場合は、そのままロボットを実行せず、基準画像の選択範囲や赤い十字のクリック位置を調整します。画像の再読み込みや、画面レイアウトの確認も行ってください。

ユニークな画像を使っても誤クリックする場合の確認点

同じ画像が画面内にほかにも存在する

「お気に入り」と同じ表示が複数ある場合、画像を基準にしても認識先を特定できません。より特徴的な周辺の画像を含めるか、「この範囲で探す」で検索範囲を限定できるか確認します。

「画像一致率」が低すぎる、または高すぎる

一致率を低くしすぎると似た画像を認識する可能性があります。一方、高すぎると画面に表示されている画像を見つけられない場合があります。現在の一致率と、認識した位置を確認して調整してください。

クリック位置のX・Y座標がずれている

基準画像が正しく認識されていても、クリック位置が違っていれば目的の場所は操作できません。赤い十字の位置を再確認し、フォーカスとテスト実行で確認します。

アプリ画面の状態が変わっている

アクション作成時と全実行時で画面の表示、ウィンドウサイズ、フォルダの展開状態などが変わっている場合は、画像や位置の対応が崩れることがあります。作成時と全実行時の画面状態をそろえて確認します。

要素マッチングで指定できる場合

対象のフォルダをWindowsアプリの要素として認識できる場合は、要素マッチングによる指定も検討してください。JobAuto公式マニュアルでは、要素を使った認識が可能な場合に、画像マッチングより安定しやすい方法として紹介されています。

画像マッチングの確認チェックリスト

  1. 目的のアプリを起動し、正しいウィンドウへ接続しているか
  2. 操作対象と同じ画像が画面に複数存在していないか
  3. 基準画像として、ほかの場所と区別できる表示を選択しているか
  4. 画像の範囲に、状態によって変化しやすい枠線を含めていないか
  5. 「【画像】マウス操作」のクリック位置を赤い十字で調整しているか
  6. 基準画像とクリック先の位置関係が、全実行時も変わらないか
  7. 「操作対象にフォーカス」で目的の位置を指しているか
  8. 似た画像が複数ある場合は、検索範囲を限定できるか
  9. 画像一致率、判定方法、タイムアウトが適切か
  10. ロボットを最初から実行しても、正しい操作先をクリックできるか

まとめ|ユニークな画像を基準にクリック位置を調整する

JobAutoでは、画像マッチングの対象となる画像と、マウスで実際にクリックする場所を分けて設定できます。同じ見た目のフォルダが複数並ぶ場合は、ほかと区別できる画像を基準に選び、クリック位置を調整することで、誤操作を減らせる場合があります。

今回の例では「お気に入り」の画像を認識させ、赤い十字で下側の受信トレイをクリックする位置に調整しました。設定後は「操作対象にフォーカス」で位置を確認し、必要に応じて検索範囲や画像一致率を調整してください。

画像を使ったWindowsアプリの操作をJobAutoで自動化

Windowsアプリのボタンやフォルダのクリックなど、繰り返し発生する操作を自動化したい方は、JobAutoの30日間無料トライアルをご利用ください。実際の業務画面に合わせた画像マッチングやクリック位置の設定についてもご相談いただけます。

“RPAの画像マッチングで基準画像からクリック位置を指定する方法|JobAuto” への2件のフィードバック

  1. […] 画像をユニークに指定する例は、ユニークな画像からの距離で操作場所を指定する方法も参考にしてください。 […]

  2. […] 画像マッチングでユニークな画像からの距離を使って指定する方法 […]

コメントを残す