Windowsアプリでボタンなどを要素認識できない場合に、JobAutoの文字認識(OCR)を利用してマウス操作アクションを作成する方法を解説します。アプリデザインで「文字」を選択し、操作対象の文字を設定・認識確認して、クリックを実行する手順を画像付きで紹介します。
RPAでアプリを文字認識して操作する方法
会計ソフトなどのWindowsアプリでは、ボタンなどの画面部品を要素として認識できない場合があります。JobAutoでは、画面上の文字をOCRで認識し、その文字を対象にマウス操作する方法も用意されています。
以下は、要素認識で操作対象を指定しにくいアプリの例です。

文字認識アクションを作成する6つの手順
文字認識のアクションは、次の6つの手順で作成します。
- アプリデザインのマッチング方式を「文字」にする。
- アプリ画面で操作したい文字の場所を選択する。
- 右クリックしてアクションメニューを表示する。
- 「指定の文字に対してマウス操作」を選ぶ。
- クリック方法・対象の文字を設定し、OCRで認識できるか確認する。
- アクションを実行して動作を確認する。
文字によるマッチングはOCRに依存します。要素認識より必ず安定するわけではなく、文字の種類や表示状態によって認識できない場合もあります。まず要素で操作できるか確認し、難しい場合に文字や画像での操作を検討します。
ステップ1:マッチング方式を「文字」に変更する
アプリデザインで文字認識を選択する
操作対象のアプリに接続した状態でアプリデザインを開き、マッチング方式を「文字」へ変更します。

ステップ2:操作したい文字の場所を選択する
アプリ画面上で対象の場所を指定する
次に、アプリデザイン上で操作対象の文字が表示されている場所を選択します。続いて選択した場所を右クリックし、アクションを選択します。
※ この操作は、続く右クリックメニューの画面とあわせて確認してください。
ステップ3:右クリックしてメニューを表示する
選択した場所でアクションメニューを開く
選択した場所で右クリックすると、作成できるアクションの一覧が表示されます。

ステップ4:「指定の文字に対してマウス操作」を選択する
文字認識用のマウス操作アクションを作成する
表示されたメニューから「指定の文字に対してマウス操作」をクリックします。

文字を対象にしたマウス操作アクションの設定画面が開きます。

ステップ5:クリック方法と対象の文字を設定する
クリックパターンを確認する
クリックパターンに「クリック」が指定されていることを確認します。

操作対象の文字を指定する
次に、操作したい場所に表示されている文字列を指定します。

文字を認識できるか確認する
対象となる値の右側にあるチェックボタンをクリックし、指定した文字を認識できるか確認します。この操作例では、認識できた文字が青色の四角で囲まれます。

ステップ6:マウス操作アクションを実行する
「実行する」「すぐに実行」で動作を確認する
設定ができたら、設定画面で「実行する」「すぐに実行」をクリックし、文字認識によるマウス操作をテストします。

実行後、ロボットにアクションが作成されたことを確認します。

文字認識がうまくいかない場合の確認ポイント
OCRで文字が認識できない、または別の場所を操作する場合は、アプリの接続状態、画面の表示内容、文字列の指定、認識結果を確認します。文字が小さい・不鮮明、または同じ文字が複数存在する場合には、操作対象を特定しにくくなることがあります。
JobAutoには、文字を探す範囲を限定する「この範囲内の指定の文字に対してマウス操作」もあります。検索範囲を限定すると改善する場合があるため、必要に応じて検討してください。
アプリデザインの認識方式や画面の再読込み・フォーカス確認については、JobAutoのアプリデザイン公式マニュアルも参照してください。
文字認識(OCR)を利用する際の通信・セキュリティ上の注意
JobAutoの文字マッチングでは、文字認識のためにGoogleのAPIとの通信が発生します。公式マニュアルによると、OCR変換する文字はJobAutoからGoogleへ送信されるため、インターネット接続が必要です。社外へ送信してはいけない情報を扱う場合は、利用前に社内の情報管理ルールと送信するデータの内容を確認してください。
通信先を制限している環境では vision.googleapis.com への接続が必要です。プロキシサーバを利用する場合は、使用中のJobAutoのバージョンに応じてプロキシ設定を確認してください。詳細は文字認識アクションの公式マニュアルをご覧ください。
JobAutoでWindowsアプリの文字認識操作を自動化する
JobAutoは要素・画像・文字のマッチング方式に対応しており、アプリの画面や認識できる情報に応じて操作方法を選べます。今回の文字認識は、要素を取得しにくい画面の文字をクリックしたい場合に検討できる方法です。
実際の業務アプリで動作するかは、30日間の無料トライアルで確認できます。
コメントを残す