JobAutoの「AIエージェントを実行」で伝票などの画像から文字情報を抽出し、生成AIの回答をCSVファイルへ保存してWebシステムへ入力する方法を紹介します。画像の指定、CSV保存、ExcelでのCSV読込、行の繰り返し、ブラウザの値入力を、11枚の操作画像と実行動画で解説します。
生成AIで画像の文字を抽出し、CSVを経由してシステムへ入力する方法
紙の伝票や注文書を画像化して文字を読み取り、システムへ入力する作業を自動化したい場合があります。JobAutoでは、「AIエージェントを実行」アクションで画像を生成AIへ送り、抽出結果を変数として受け取り、CSVファイルに保存して後続の処理に渡す方法があります。
この手順では、画像内の文字を抽出する処理に加えて、CSVをExcelで開き、データを1行ずつ取り出してWebシステムへ入力するところまで紹介しています。画像のOCRだけで終わらせず、RPAの入力処理へつなぐ構成です。
なお、生成AIの抽出結果は必ずしも正確ではありません。日付・数字・品番・金額などは確認が必要です。特に元画像から表形式のCSVを作成する場合は、AIが表の項目と区切り文字を正しく解釈できているかを検証してください。
全体の処理順序は5ステップ
- 画像を生成AIへ送信：「AIエージェントを実行」で画像ファイルと抽出指示を送る。
- CSVファイルへ書き込み：AIの回答を「ファイル書き込み」でCSVに保存する。
- CSVを開く：「Excelを開く」で作成済みCSVファイルを読み込む。
- 行の繰り返し処理：CSVの各行の値をJobAutoの変数へ取り込む。
- Webシステムへ値入力：ブラウザの「値入力」で各行のデータを指定欄へ入力する。
ステップ5はステップ4の「行の繰り返し処理」の中に配置します。複数行のデータなら、対象件数分の入力が行われます。
ステップ1：「AIエージェントを実行」で画像の文字を抽出する
「AIエージェントを実行」アクションを作成する
ロボデザインのその他の操作から「AIエージェントを実行」アクションを作成します。このアクションでは、生成AIへ質問文を送るだけでなく、画像ファイルを添付して文字情報を読み取らせることもできます。
このアクションの利用には別途契約・発行されたAPI_KEYが必要です。詳しくは公式マニュアル「AIエージェントを実行」をご覧ください。
「入力情報」「添付ファイルパス」「戻り値」を設定する
「入力情報」に生成AIへの指示を設定し、「添付ファイルパス」に解析する画像のフルパスを指定します。「戻り値」にはAIの抽出結果を保存する変数を指定します。これらの設定には必要に応じてJobAutoの変数を使用できます。
CSVとして後続処理に渡す場合：「必要な列名と列順を固定し、1行目は見出し、2行目以降はデータ、説明文やコードブロックは不要」というように出力形式を指定するのが有効です。CSV中にカンマ・改行・ダブルクォートが含まれる場合の扱いも明示して、抽出結果を確認します。
参考として、画像に実在する取引先名・個人情報・機密情報を外部のAIエージェントへ送る場合は、事前に利用条件、送信する情報、社内規程や取引先との取り決めを確認してください。
ステップ2：生成AIの回答をCSVファイルへ保存する
「ファイル書き込み」アクションを作成する
次に「ファイル書き込み」アクションを追加します。生成AIの「戻り値」に格納された文字列を、CSVファイルとして保存する工程です。
「書き込み値」と「ファイル」を設定する
「書き込み値」にAIの回答が入った変数を設定し、書き込み先の「ファイル」に保存するCSVのパスを設定します。操作画像の設定内容を参考に、保存先のファイル名を指定してください。
CSVを書き込む際は、追記か上書き（作り直し）かの設定を確認します。毎回同じファイルを使う場合、前回分が残らないように処理します。保存先フォルダの存在・書き込み権限・文字コードも確認してください。公式マニュアル「ファイル書き込み」で設定内容を確認できます。
CSVの重要な確認：AIが出力した文章を拡張子だけ .csv にしても、適切な表形式にはなりません。必要な列数・区切り文字・各行のデータ構造が揃っているか確認してください。カンマが値に含まれる場合の引用符処理、改行、ダブルクォート、先頭ゼロも特に注意が必要です。
ステップ3：保存したCSVを「Excelを開く」で読み込む
「Excelを開く」アクションを追加する
「Excelを開く」アクションを作成します。この手順では、生成AIの回答を保存したCSVファイルをExcelの操作対象として開く方法を使用しています。
「ファイル」に保存したCSVのパスを指定する
「ファイル」へステップ2で保存したCSVファイルのフルパスを設定します。操作画像の設定に合わせ、同じファイルを開けるようにします。
CSVをExcelで開くと、商品コードなどの先頭ゼロが消えたり、日付に自動変換されたりする場合があります。文字列の形式を厳密に維持したい場合は、CSVの内容とExcelで開いた後の値を比較してください。
ステップ4：CSVの行の繰り返し処理でデータを取り出す
「行の繰り返し処理」を作成する
CSVを開いたら「行の繰り返し処理」アクションを追加します。この手順では、データを1行ずつ取得して後続の入力アクションで使用します。
この手順ではCSVに保存したデータ行を順に処理します。空欄を除外する要件がある場合は別途条件を設定してください。
「列名と変数の対比表」を設定する
「列名と変数の対比表」で、CSVの各列とJobAutoの格納先変数を対応付けます。CSVの先頭行に見出しがある場合は「1行目を列名とする」の設定も確認します。
AIの返すCSVの列順や列数が途中で変わると、別の項目が誤った変数に入る可能性があります。入力前に見出し・列数・空欄の扱いを確認してください。行の繰り返しの詳細はJobAuto公式マニュアルを参照できます。
ステップ5：抽出したデータをWebシステムへ入力する
ブラウザの「値入力」アクションを作成する
行の繰り返し処理の内側にブラウザ操作の「値入力」アクションを配置します。入力対象となるWebシステムのテキストボックスを選択し、対応するCSVの列データを設定します。
「入力する値」にCSVの列データを格納した変数を指定する
「入力する値」には、ステップ4の「列名と変数の対比表」で設定した変数を指定します。複数の入力欄がある場合は、項目ごとに対象要素と変数の組み合わせを設定します。
Webシステムの画面でデータが入力されたことを確認します。最後の操作画像で入力処理の様子を確認できます。
この手順では、システムへ値を入力するところまでを扱っています。登録ボタンの送信、確定処理、登録後の照合などは個別に説明されていないため、必要な場合は別のアクションと確認処理を追加してください。
操作動画：画像から文字を抽出してシステムへ入力する
JobAutoの実行動画です。画像を生成AIへ渡して文字情報を抽出し、CSVファイルを経由してWebシステムへ入力する流れを確認できます。
生成AIで画像を読み取るときの注意点
- 読み取り精度：画像の解像度、傾き、手書き文字、印影、表の罫線などにより抽出結果が変わります。品番・数量・金額・日付は照合してください。
- CSV形式：生成AIの戻り値は、指示が不十分だと説明文やMarkdown表になることがあります。指定したヘッダー・列順・区切り文字であることを検査してください。
- 引用符・改行：文字列にカンマ、改行、ダブルクォートが含まれる場合はCSVとして正しくエスケープされているか確認します。
- ファイル書き込み：前回のCSVへの追記による混入、文字コード、ファイルパスや書き込み権限を確認します。
- Excelの型変換：CSVをExcelで開くと郵便番号・商品コードの先頭ゼロや日付形式が変換される場合があります。
- 入力先との対応：列名と変数の対応関係を固定し、抽出されなかった必須項目や不正な数値があれば入力を止めて確認します。
- 機密情報・個人情報：外部AIへの画像送信に先立って、送信データの内容、契約条件、社内ルール、顧客との取り決めを確認してください。
- API_KEY・費用：AIエージェントの実行には別途発行されるAPI_KEYが必要です。利用料金、通信制限、タイムアウトや再試行も考慮します。
画像からの文字抽出だけでなく、入力作業まで一連で自動化する
JobAutoでは、「AIエージェントを実行」→「ファイル書き込み」→「Excelを開く」→「行の繰り返し処理」→「値入力」をつなげることで、画像に記載された情報をWebシステムへ入力する処理の流れを構成できます。
ただし、AIによる画像読取が正しいことを前提に無条件で登録するのではなく、抽出結果の検証、入力値のチェック、必要に応じた人による確認を加えて運用してください。画像形式や帳票レイアウトによって必要な設計は変わります。
JobAutoの操作感を試したい場合は無料トライアルをご利用ください。AIエージェントのAPI_KEYや利用料金については、別途お問い合わせください。
コメントを残す