画面解析型 自動操作機器 — 特許防衛のための公開技術情報

Screen-driven HID Emulator Device — Public Disclosure for Patent Defense

公開技術情報 / Public Disclosure

本ドキュメントは、以下の構成・動作原理をもつ自動操作機器（以下「本機器」）に関して、
特許権の取得を目的とせず、第三者による特許取得を防ぐため、
日本時間2025年5月15日に公知例として一般公開するものです。

This document publicly discloses a device ("the Device")
for the purpose of preventing third-party patent claims.
No patent rights are intended to be filed for this invention.
This is a public disclosure made on May 15, 2025 (JTS).

概要 / Overview

• 本機器は、Windows/macOS/Linux/など(以下「汎用コンピュータ」)のHDMIなど画面出力端子とUSB等の操作用インタフェース端子に接続される。
  (The Device is connected to a general-purpose computer (Windows/macOS/Linux/etc) via a display output such as HDMI and a control interface such as USB.)
• 汎用コンピュータの画像出力端子からの入力を介して、画面の映像をリアルタイムに取得する。
  (It captures the screen of the general-purpose computer in real time via the display output.)
• 取得した画面画像を処理・解析し、GUI要素（ボタン、テキストなど）を特定する。
  (The captured screen image is processed and analyzed to identify GUI elements (such as buttons and text).)
• GUI要素の認識には、テンプレートマッチング、OCR、または生成系AIによる画像解析（例:ChatGPT Vision）を利用できる。
  (GUI recognition may be performed using template matching, OCR, or generative AI-based image analysis (e.g., ChatGPT Vision).)
• 解析結果に応じて、USB経由などで、マウス・キーボードなどの操作用信号を生成・送信する。
  (Based on the analysis, the Device generates and transmits mouse, keyboard and etc signals.)
• これにより、人間の操作を模倣した自動入力を実現する。
  (This enables automatic input that mimics human operations.)

特徴 / Technical Features

• 本機器は、OSに依存せず、スクリーン画像のみを根拠に判断・動作を行う。
  (The Device operates independently of the OS and makes decisions solely based on the screen image.)
• 汎用コンピュータからの画面画像に基づき、自律的に入力動作（マウス移動・クリック・キー入力など）を決定する。
  (It autonomously determines input actions (mouse movement, clicking, keystrokes and etc) based on the screen image from the general-purpose computer.)

想定用途 / Use Cases

• (一つまたは複数の)アプリケーションの操作自動化（RPAのハードウェア版）
  (Application(s) automation (hardware-based RPA) )
• GUIテストの自動化
  (Automated GUI testing)
• 視覚的UIインタフェースの自動応答
  (Automatic response to visual UI interfaces)
• OS非依存のUI操作デバイス開発
  (Development of OS-independent UI control devices)

その他応用例 / Other application examples

• 本機器は複数の汎用コンピュータ(OSが混在しても良い)に接続して
  複数アプリケーションを操作しても良い
  (The Device may be connected to multiple general-computers (including mixed OS)
  to operate multiple applications.)
• 本機器と複数の汎用コンピュータをLANなどでも結び、
  ファイルの仲介しても良い。その際ファイル形式のコンバートを行っても良い
  (You can also connect the Device to multiple general-computers via LAN or other means
  to mediate files. In that case, you can also convert the file format.)
• OSやアプリケーションのアップデート対応するために
  GUI要素の認識に必要な情報をアップデートする仕組みを持っても良い
  (日本時間2025年5月16日に追記)
  (The Device has a mechanism for updating the data required
  to recognize GUI elements in order to accommodate OS and applications updates.)
  (This toppic add on May 16, 2025 (JST).)

本機器のアップデートの方法として、次の項目を持っても良い
(The following methods may be used to update the Device:)

• 本機器が認識不能なGUI要素をリストアップし、ユーザが必要に応じて定義を行う
  (The device lists the GUI elements that it cannot recognize, and the user can define them as necessary.)
• 本機器が認識不能なGUI要素の定義について、クラウドやローカルの配信サーバーから情報を受ける。
  (The device receives data from the cloud or a local distribution server regarding the definition of GUI elements that it cannot recognize.)
• 本機器が認識不能なGUI要素について、管理者への報告を行う仕組み
  (A mechanism for reporting to the administrator any GUI elements that the device cannot recognize.)
• 取得した画面画像を処理・解析し、GUI要素を特定する仕組みを管理者配下のサーバーに置き、管理者が最新に保もつ
  (The Device that processes and analyzes
  the captured screen images and identifies GUI elements
  is placed on a server under the administrator's control,
  and the administrator keeps it up to date.)

公開日時 / Publication Date

本文書は 日本時間2025年5月15日に公開されたものである。

(This document was made publicly available on May 15, 2025 (JST).)