RPAで要素インデックスを使ってアプリを操作する方法|JobAuto

RPA × WINDOWS APP × ELEMENT MATCHING × INDEX

JobAutoでWindowsアプリの複数の要素から、インデックスを指定して操作対象を選ぶ方法を紹介します。画面内に同じ条件の項目が並んでいる場合、要素インデックスを使うと「何番目の要素か」を指定できます。

メールの受信トレイを例に、「アプリを開く」「起動中のアプリに接続」「【要素】値取得」の設定から、インデックス0と1で対象が変わることまでを操作画像13点で説明します。

要素マッチングの「要素インデックス」とは

JobAutoのアプリ操作では、操作対象の要素を名前・クラス・タイプ・AIDなどの条件で特定できます。ただし、同じ条件に一致する要素が複数存在する場合は、条件だけではどの要素を操作するかを1つに絞り込めません。

そこで使用するのが「要素インデックス」です。設定した条件に一致する複数の要素から、何番目を対象とするかを指定します。先頭を表す値は0です。

要素インデックス操作対象
0一致した1番目の要素
1一致した2番目の要素
2一致した3番目の要素

要素インデックスの番号はアプリ内のすべての部品に対して付く番号ではありません。 名前・クラス・タイプ・AIDなど、設定された要素マッチング条件に一致した候補の中での位置を指定します。そのため、絞り込み条件と候補の順番を確認してください。

要素インデックスを使ったメールの値取得の流れ

受信トレイにメールが複数並んでいる場面を例にします。ここではOutlook Expressの画面を使用していますが、要素インデックスの基本的な考え方は、要素マッチングに対応するWindowsアプリでも利用できます。

Outlook Expressの受信トレイでメールを上から順に選択する操作例
上から順に操作する

以下の手順で、操作するメールの要素を切り替えます。

  1. 「アプリを開く」で対象アプリを起動する
  2. 「起動中のアプリに接続」でアプリへ接続する
  3. アプリデザインでメールの要素を選択し、「【要素】値取得」を作成する
  4. 「高度な設定」で要素の絞り込み条件と要素インデックスを調整する
  5. インデックスが0と1で取得対象が変わることを確認する

操作例のアプリについて:Outlook Expressはサポートを終了した旧製品です。新しく利用するメールソフトとして推奨するものではありません。実際の業務では、現在使用しているWindowsアプリで、要素マッチングにより各項目を識別できるか確認してください。

手順1|「アプリを開く」で対象アプリを起動する

STEP 01 / LAUNCH APP

「アプリを開く」アクションを作成する

JobAutoのロボデザインで「アプリを開く」アクションを追加します。これは、指定したWindowsアプリのプログラムを起動するためのアクションです。

JobAutoでアプリを開くアクションを作成する画面
アプリを開くアクションを作成

起動するプログラムのフルパスを設定する

「プログラム」欄には、操作対象アプリの実行ファイルをフルパスで指定します。画像の操作例ではOutlook Expressの実行ファイルを設定しています。

アプリを開くのプログラム欄にOutlook Expressの実行ファイルを設定する画面
プログラムに実行ファイルをフルパスで設定する

実際に使用するアプリのインストール先を指定して実行し、画面が起動することを確認します。

手順2|「起動中のアプリに接続」で対象を選ぶ

STEP 02 / CONNECT TO APP

起動したアプリへ接続するアクションを作成する

続いて「起動中のアプリに接続」アクションを作成します。「アプリを開く」がプログラムの起動を担当し、こちらは起動中のウィンドウを操作対象に設定するためのアクションです。

JobAutoの起動中のアプリに接続アクションを作成する画面
起動中のアプリに接続をクリック

接続先の一覧からアプリを選択する

表示された接続先一覧から、対象となるアプリを選びます。画像の例ではOutlook Expressを選択します。

起動中のアプリに接続でOutlook Expressを接続先に選ぶ画面
OutlookExpressを選択

ウィンドウタイトルの変動部分を調整する

表示するフォルダなどによってウィンドウタイトルが変わる場合は、接続先のタイトル条件の変動する箇所を.*に置き換える設定を使用できます。

ウィンドウタイトルの変動部分を.*に変更して接続する設定画面
動的に変わる個所を.*へ書き換える

変わらない文字列はできるだけ残し、目的のウィンドウだけに一致する条件にします。設定を広くしすぎると、別のウィンドウへ接続するおそれがあります。詳しくはウィンドウタイトルが動的に変わる場合の接続方法をご覧ください。

手順3|アプリデザインで「【要素】値取得」を作成する

STEP 03 / CREATE ELEMENT VALUE ACTION

値を取得したいメールの要素を選択する

接続できたら、アプリデザインで受信トレイに表示されたメールのうち、値を取得したい箇所をクリックして選択します。

アプリデザインで値取得したいメールの要素を選択する画面
操作したい個所をクリックして選択

右クリックでアクションメニューを開く

要素を選択した状態で右クリックし、JobAutoの操作メニューを表示します。

メール要素を右クリックしてJobAutoのアクションメニューを表示する画面
メニューを表示

「【要素】値取得」をクリックする

表示されたメニューから「【要素】値取得」を選択します。値取得アクションの設定画面が開きます。

メニューから【要素】値取得を選択する画面
【要素】値取得をクリック

取得したメール件名などを後続処理で使用する場合は、基本設定で取得結果の格納先変数を設定します。

要素マッチングと画像・文字認識の違い:この例では、Windowsアプリの要素情報から対象を選ぶ「【要素】値取得」を利用します。画面の画像の位置を認識して操作する画像マッチングや、OCRで文字を検出する操作とは異なります。

手順4|高度な設定で要素インデックスを指定する

STEP 04 / SET ELEMENT INDEX

「タイプ」などの条件を見直す

値取得アクションの「高度な設定」を開き、まず「タイプ」などの要素マッチング条件を確認します。元の操作例では「タイプ」の設定を変更して、インデックスによる指定に進みます。

値取得の高度な設定で要素のタイプを調整する画面
下の設定を選択

「名前」「クラス」「タイプ」「AID」などの条件で、メール一覧の目的の種類の要素が候補になるように調整します。実際にどの値を設定するかは、操作するアプリの要素情報によって異なります。

「要素インデックス」の値を変更する

同じ条件に一致する複数の要素から、対象にしたい位置を「要素インデックス」で指定します。

要素インデックスの設定を変更するアプリ要素マッチング画面
要素インデックスを変更する

要素インデックスは0から始まります。インデックスを変えながら「操作対象にフォーカス」などで認識対象を確認してください。

要素インデックス0:1番目のメールを選択する

要素インデックスを0にすると、設定された条件に一致する先頭の要素が対象となります。画像の例では、1番目のメールが選択されています。

要素インデックス0で1番目のメールを選択した画面
0のときは1番目のメールが選択

要素インデックス1:2番目のメールを選択する

要素インデックスを1に変更すると、条件に一致した2番目の要素が対象となります。画像では、選択するメールが2番目に切り替わります。

要素インデックス1で2番目のメールを選択した画面
1のときは2番目のメールが選択

インデックスが空欄のとき:JobAuto公式マニュアルでは、要素インデックスに設定した変数が空欄の場合などは、自動的に0が使われると説明されています。意図せず先頭を操作しないよう、変数の初期値を確認してください。

要素インデックスを変数にして順番に処理する

JobAutoの要素インデックスには変数を指定できます。同じ条件に一致する複数の要素を順番に操作したい場合は、インデックスを保持する変数と、値を増やす処理を組み合わせます。

  1. インデックスを保持する変数を0で初期化する
  2. 「【要素】値取得」の「要素インデックス」でその変数を参照する
  3. 取得結果を確認してから、必要に応じて後続処理を行う
  4. 「変数の値を加工」の四則計算などでインデックスを1加算する
  5. 終了条件を確認し、次の要素の処理へ進む

これは変数を利用した繰り返し処理を組み立てる考え方です。画像付きの手順は要素インデックスの変更までであり、ロボット全体のループ制御を設定する手順は含んでいません。繰り返しには別途、制御アクションや終了条件の設定が必要です。

終了条件を設けてください:インデックスを増やし続けるだけでは、最後の要素を超えた後にエラーになる可能性があります。また、途中でメールが追加・削除されると、同じ番号が別のメールを指すことがあります。対象件数や処理完了の条件を確認し、必要に応じて画面の再取得・重複チェックを行います。

要素インデックスを使うときの注意点

「タイプ」などの絞り込みが正しくないと別の要素を選ぶ

要素インデックスは、設定条件に一致した候補の順番を表します。たとえばメールの件名だけを対象にしたいのに、ほかの項目も同じ条件で一致すると、期待と違う要素が選ばれる可能性があります。最初に要素の条件を調整してください。

画面更新後は「キャッシュクリア」を確認する

JobAutoは処理速度を高めるため、アプリ要素の情報を保持しています。メールの追加や画面切り替え後に対象が正しく選択されないときは、高度な設定の「キャッシュクリア」で要素情報を再取得する方法を確認してください。

同じ番号でも常に同じメールとは限らない

一覧の並び替え、受信メールの追加、既読への変更などによって、候補の並びや件数が変わる場合があります。インデックスはメールを永久に識別するIDではありません。 処理対象の件名や日時なども取得して、目的のメールかを確認する運用が安全です。

タイムアウトや要素の存在を確認する

対象の要素が表示される前に「【要素】値取得」を実行すると失敗する場合があります。「要素が見つかるまでのタイムアウト(秒)」を確認し、画面が表示された状態で操作します。

要素の取得ができないときの確認ポイント

  1. 対象のWindowsアプリが起動し、JobAutoから接続できているか
  2. アプリデザインで目的の要素を選択できているか
  3. 「【要素】値取得」の取得対象と格納先変数が正しいか
  4. 「名前」「クラス」「タイプ」「AID」の設定で候補を適切に絞れているか
  5. 要素インデックスが0から始まることを考慮しているか
  6. 「操作対象にフォーカス」で意図した要素が選択されるか
  7. 変数参照時にインデックスの値が空になっていないか
  8. 画面更新後に「キャッシュクリア」が必要か
  9. 一覧の表示が遅い場合、タイムアウトの設定が適切か
  10. 繰り返し操作で終了条件が設定されているか

まとめ|Windowsアプリの要素をインデックスで指定する

JobAutoでは、「【要素】値取得」の高度な設定で要素インデックスを指定することで、同じ条件に一致する複数の要素から目的の位置を選択できます。0が1番目、1が2番目の要素です。

インデックスに変数を使えば、番号を変えて順番に要素を処理する仕組みも構築できます。ただし、候補を絞る条件、画面更新後のキャッシュ、対象の並び順、繰り返しの終了条件を確認しておくことが重要です。

Windowsアプリの繰り返し操作をJobAutoで自動化

メールソフトや業務システムの一覧操作、複数項目からの値取得などを自動化したい方は、JobAutoの30日間無料トライアルをご利用ください。実際のWindowsアプリの構成に合わせた要素マッチングの設定についてもご相談いただけます。

コメントを残す