目次
画像認識で入力・クリック操作を自動化するには？
Power Automate Desktop（PAD）でアプリケーション操作を自動化するとき、通常は「UI要素」を使ってボタンをクリックしたりテキストを入力したりしますよね。
しかし、アプリによってはUI要素を認識できず、自動化がうまくいかないこともあります。
そんなときに役立つのが、画像認識を使った操作です。この記事では、画像認識で「ユーザー名を入力し、OKボタンをクリックする」自動化を初心者向けにステップバイステップで解説します！
使用するアクション
以下の2つのアクションを主に使います。
- マウスを画像に移動（＋クリック）
- キーの送信
実践：画像認識を使って入力とボタン押下をする方法
ステップ①：画像認識でクリックする準備
- Power Automate Desktop を開く
- 任意のフローを作成または開きます。
- 左側のアクション一覧から、
マウスとキーボード > マウスを画像に移動をダブルクリックします。
ステップ②：画像をキャプチャする
- 「画像を選択してください」をクリック
- 表示されたウィンドウで「画像のキャプチャー」をクリック
- 今回は、ユーザー名ラベル（UserName）をクリックしてキャプチャ
- 白いテキストボックス部分ではなく、**テキスト「ユーザー名」**を選ぶのがポイント
- パスワードと似ているため、識別しやすいラベルを使う！
- 画像名は分かりやすく「img_Username」などに設定
ステップ③：クリック設定をする
- 「マウスの移動後にクリックを送信する」にチェック
- 「左クリック」を選択
- 詳細設定を開く
- 画像に対するマウスの相対位置：ラベルの下側を選択（下のテキストボックスを狙うため）
- 検索対象：不安定な場合は「画面全体」、確実に手前にある場合は「フォアグラウンドウィンドウ」
ステップ④：キー入力を設定する
- 「キーの送信」アクションを追加
- 入力するテキストに
UserNameを入力 - 保存
ステップ⑤：ボタンを画像認識でクリックする
- 再度「マウスを画像に移動」アクションを追加
- 「画像をキャプチャー」を選び、OKボタンをクリックして取得
- 画像名は「img_OK」などに
- 「左クリック」を選択し、相対位置は中央でOK
- 検索対象は「フォアグラウンドウィンドウ」でOK
実行してみよう！
すべての設定が完了したら、上部の「実行」ボタンをクリック！
- 「ユーザー名」が入力される
- 「OK」ボタンがクリックされ、画面が切り替わる
この流れが自動で再現されます。
よくある質問（FAQ）
Q1. ラベルをキャプチャする理由は？
A1. テキストボックス自体は見た目が同じなので、間違えてパスワード欄に入力される可能性があります。ラベルの方が識別しやすく、精度が上がります。
Q2. 画像認識がうまくいかない場合は？
- 画像のキャプチャ位置を調整する（少し広めに撮る）
- 解像度やスケーリングの違いに注意
- 「検索対象」を「画面全体」にする
- ウィンドウが手前にあるか確認する（フォアグラウンド）
Q3. UI要素と画像認識の違いは？
| 比較項目 | UI要素 | 画像認識 |
|---|---|---|
| 精度 | 高い | やや低い（条件に依存） |
| 速度 | 速い | 遅め |
| 安定性 | 高い | 画面変更に弱い |
| 利用場面 | 通常使用 | 最終手段として |
Q4. マウスが違う場所をクリックします
- 相対位置の指定がずれていないか確認
- キャプチャ画像のサイズとクリック位置が合っているか調整
- 画面サイズ変更が影響していないか確認
アクションまとめ（順番）
マウスを画像に移動（ラベル下）キーの送信（入力）マウスを画像に移動（OKボタン）
