AutomationOperation2.60自动操作工具：可视化 GUI支持鼠标 键盘 识别等自动化操软件作

这是一款功能丰富的自动化操作工具，具备直观 GUI 界面（AutomationOperation.exe ）。可通过左侧菜单拖动或双击添加操作，右侧菜单能调整操作顺序、删除任务 。支持鼠标移动（相对 / 绝对坐标可选 ）、单击、双击、拖动，键盘输入（含复制粘贴 ）、特殊按键组合（win/shift/ctrl/alt ），还可识别图片、设置延时、打开文件 / 文件夹 。在设置中可配置快捷键，保存配置到 AppSettings.json ，控制台程序可按配置执行任务，灵活满足自动化操作需求。

一、核心功能汇总

（一）界面与配置管理

1. 主界面操作

• • 左侧菜单支持拖动、滚动插入内容，可通过三种方式调整模板顺序：选择插入位置后拖入内容；按住Ctrl+上下方向键调整；拖动内容并在边缘滚轮调节。
  • 支持Ctrl+Alt+↑/↓一次性移动模板列表10个序号，Alt+滚轮可快速滚动操作列表。
  • 模板支持Shift/Ctrl+左键多选，选中后按Ctrl+C/Ctrl+V复制粘贴；左侧菜单右键可按序列号插入，且插入界面位置靠近鼠标位置。
  • 主界面显示控制：选点时隐藏主界面；简化视图下仅显示序号、模板名、说明编辑框、是否执行复选框；每页最多显示25个模板，支持分页显示。
  • 模板执行控制：可勾选单个模板是否执行，取消勾选则模板变暗并在全部执行时跳过；支持单步执行（默认F10），执行后选中顺序顺延；新增暂停/继续按钮（默认F6，可在设置界面修改快捷键）。

1. 配置文件操作

• • 配置名可直接在设置界面修改，按保存配置按钮保存，也可浏览打开其他配置；支持保存/另存为、新建、清除配置按钮，空白配置也能保存。
  • 配置加载逻辑优化：可将配置放入不同文件夹后加载，修改文件名后保存当前配置可直接保存新名称；加载配置时可选择是否清除覆盖原配置（不清除则可累加）。
  • 配置快捷键：支持动态添加最多10个快捷键，快捷键注册失败会报错；修复设置快捷键时的执行bug，解决快捷键取消失败问题。
  • 批量配置处理：多序号（50+）配置支持分批异步保存/加载，标题栏显示进度条；全部执行的配置文件名会显示在标题中；执行完后可设置是否启用下一个配置。
  • 同目录下仅允许打开一个软件实例，防止多开冲突。

（二）录制功能

1. 基础录制：支持录制鼠标单击、双击、拖动，键盘输入（识别后转换为特殊按键）；录制鼠标滚轮功能（含Ctrl+滚轮、Shift+滚轮）并更新录制内容。
2. 截图与识别录制：录制时按下Shift+Q或点击界面按钮可触发截屏操作，用于图片识别；修复录制时选择窗口坐标的相关bug，优化不同缩放下窗口的截图、框选、颜色拾取显示。
3. 录制优化：取消录制的预加载和定时保存（避免内存泄露）；修复录制结束后的弹窗问题。

（三）坐标与窗口控制

1. 坐标模式：鼠标支持绝对坐标、相对坐标、窗口坐标三种模式（录制前选择）；修复相对点坐标选点时仅显示绝对坐标的问题；若移动坐标与当前坐标一致，则不执行移动操作。
2. 窗口句柄与绑定

• • 窗口坐标模式下，可选点或录制时绑定窗口获取句柄（仅完整视图显示），执行时优先使用句柄，句柄失效则退回找窗口/程序，重新打开软件后句柄需重新绑定（可手动输入）；浏览器多窗口模式下需句柄对应。
  • 键盘输入、特殊按键、图片/颜色/文字识别功能均支持窗口绑定，可选择句柄自动绑定或手动输入；设置界面新增窗口句柄一键绑定，主界面句柄默认同步设置界面选择。

1. 窗口操作：新增移动窗口模板（后台点击时可移动窗口，用完后移回，需窗口可移动）；浏览器打开时可设置窗口大小（最大化/自定义宽高）。
2. 后台窗口处理：后台点击前锁定前台窗口，将目标窗口置于Z轴底层（模拟激活状态）；也可将窗口移出显示区域实现无遮挡后台操作，完善后台点击（支持窗口最小化、无遮挡场景）。

（四）识别功能（图片/颜色/文字/OCR）

图片识别、颜色识别、文字识别（OCR）三大功能进行了全面优化与扩展：图片识别方面，不仅完善了全屏 / 框选识别、Base64 保存及报错提示等基础功能，还支持最多 5 张图片的多图识别，提供按优先级找一个点击等三种执行模式，同时优化了后台等待、灰度处理与哈希比较等识别逻辑，新增 DXGI 识别方式和随机点模式，修复了多图保存、循环闪退等 bug，并配备停止、继续等 5 种失败处理方式及注释功能；颜色识别支持框选区域、放大镜查看 RGB 值与方向键微调操作，新增多颜色并行搜索及左键按下 / 弹起操作，失败处理与图片识别保持一致；文字识别集成 PaddleOCR（1.54 版本），优化了识别效果与报错信息，支持结果复制到剪贴板、输出布尔型变量，新增等待文字出现 / 消失的条件，失败处理也与图片、颜色识别统一。

（五）鼠标与键盘操作

1. 鼠标操作

• • 基础操作：单击操作中加入左键按下、左键弹起；双击操作修复“不点击无效”的bug；图片/颜色识别中加入左键按下、左键弹起操作。
  • 移动优化：移动方式加入贝塞尔曲线（模仿真实移动），支持移动、点击、双击、拖动及各类识别操作的移动优化；加入驱动鼠标功能（参考MouseControl项目）。
  • 点击优化：单击点击后可设置延时（建议500ms，防止重复点击触发双击）；颜色/文字/图片识别的“点击”操作改为“移动”，优化非窗口坐标下的模板显示。

1. 键盘操作

• • 基础输入：键盘输入识别后转换为特殊按键；特殊按键加入只按下、只释放功能（可按住一段时间后释放）；修复Win7下DPI感知问题（调用SetProcessDPIAware()）。
  • 输入优化：去除键盘输入前的点击操作（可在前台模式下手动设置是否点击输入前点击）；前后台模式切换时界面立即更新。

（六）等待条件与错误处理

1. 等待条件

• • 基础等待：优化等待图片出现功能，加入后台等待；新增等待图片未出现、等待文字出现、等待文字消失条件；加入“无限等待”（实际为超长超时时间）。
  • 失败处理：等待操作的失败条件支持5种处理方式（与图片识别一致）；超时时间设置支持文本框实时更新值。

1. 错误处理

• • 全局设置：在设置-主界面设置中可选择报错后是否停止运行（不选则继续运行）；修复选择“报错后停止”时单步执行闪退的问题。
  • 日志功能：设置界面加入日志保存相关设置，更新日志内容，添加更多报错日志信息；快捷键注册失败、图片/文字识别错误等均会记录日志。

（七）浏览器模式

1. 浏览器管理：支持打开/关闭浏览器（Edge/Chromium/Firefox/WebKit），选择有头/无头模式；加入登录复用功能；打开时可设置窗口大小（最大化/自定义宽高）。
2. 浏览器操作

• • 页面跳转：支持变量URL跳转；
  • 浏览器点击：可根据CSS Path、ID等选择器类型选元素，支持左键、右键等点击方式；
  • 浏览器输入：选择元素后，留空则读取元素内容并复制到剪贴板，有内容则输入到元素中；
  • 浏览器截图：支持浏览器页面截图。

1. 智能选择器：浏览器点击/输入模板中加入智能选择器（需先以有头模式打开Edge，导航到目标页面后点击选择器，点击页面元素自动生成选择器类型，可测试或手动复制selector）。

（八）变量管理系统

1. 基础变量：在设置界面添加变量，支持读取/存入变量（文字识别、浏览器输入），修改变量（加减乘除、数学表达式、拼接、替换、字符串转列表等），输出变量（文字识别点击、键盘输入、浏览器输出）；延迟操作支持变量时间。
2. Excel变量：支持读取单个单元格、指定范围、整个工作表、指定行/列；可使用变量指定列、行、单元格；提供Excel读取单元格转网址实例。
3. 列表变量：支持读取文件名并输出到列表；变量操作支持列表，可配合内循环实现列表循环操作（内循环开始-输出变量-列表索引-内循环结束）；文件名修改支持手动输入或变量输入。
4. 内循环操作：加入内循环开始/结束/跳出（跳出条件为布尔型变量）；修复内循环开始无法刷新变量的问题；图片/文字识别结果可输出为布尔型变量。

（九）后台执行与自动化

1. 后台模式：设置界面的自动化执行模式中，后台模式支持图片测试（选择目标窗口测试后台是否能识别图片，为后续识别功能提供前提）；后台模式下快捷键使用多进程模式。
2. 屏幕截图：支持DXGI、GDI、PrintWindow三种截图方式，后台图片识别可选择对应方式。
3. 强制操作：加入强制关闭程序功能，防止操作无法取消的情况；修复快捷键取消失败问题。

（十）界面外观与交互

1. 主题与颜色：支持调整界面主题、左侧菜单颜色；优化主界面菜单的颜色与布局；优化插入线显示（上下移动模板时不闪烁）。
2. 托盘菜单：调整托盘菜单功能，可在配置设置中选择是否显示托盘菜单；Win7下弹窗改用传统气泡，Win10使用toast通知。

处理操作与执行链处理操作：删除设置界面的执行链，主界面新增处理操作（停止、跳转、下一个循环、执行其他配置（跳回/不跳回）、等待选择）。循环设置：循环设置先移入设置界面，后放回主界面；优化循环执行延迟（取消固定1s延迟，增加10ms延迟并可优化取消）；加入内循环操作，支持循环次数重复执行。