chore: 清理历史规划文档与一次性调试脚本
- 删除 docs/ 8 份重构阶段规划文档（01~06 编号系列 + OCR 检测报告），git 历史可查 - 删除 scripts/ 4 个无引用调试脚本：spawn-test / cdp-probe / desktop-e2e / export-last-run - README 同步：移除悬空链接，文档索引改为三份活跃文档 - 本地清理 temp/（415MB 模型选型实验产物，未入库）与根目录旧测试日志 - release/dist 打包产物按用户要求保留
This commit is contained in:
yu
parent
487b46420b
commit
ec25db2207
11
README.md
11
README.md
@ -73,18 +73,17 @@ src/main/fixture 本地演示站
|
|||||||
src/preload 白名单桥
|
src/preload 白名单桥
|
||||||
src/renderer React UI：画布、组件库、属性面板、运行/设置页
|
src/renderer React UI：画布、组件库、属性面板、运行/设置页
|
||||||
src/shared 主/渲染共享类型
|
src/shared 主/渲染共享类型
|
||||||
scripts build-catalog / dev-safe / start / cdp-probe / 打包冒烟
|
scripts build-catalog / dev-safe / start / 打包冒烟
|
||||||
resources catalog.json（1016 项派生元数据）、夹具站（含元素演练场）、桌面桥
|
resources catalog.json（1016 项派生元数据）、夹具站（含元素演练场）、桌面桥
|
||||||
docs 现状分析、实施方案
|
docs 开发规范、迁移指南、重构任务清单
|
||||||
```
|
```
|
||||||
|
|
||||||
## 文档
|
## 文档
|
||||||
|
|
||||||
|
- [开发规范](docs/dev-conventions.md)
|
||||||
|
- [rpa-core 迁移指南](docs/rpa-core-migration-guide.md)
|
||||||
|
- [重构任务清单](docs/rpa-core-refactor-tasks.md)
|
||||||
- [应用与系统 50 项组件测试任务](resources/test-flows/app-system/README.md)：13 组可安装任务、使用步骤、覆盖清单及实际验收报告。
|
- [应用与系统 50 项组件测试任务](resources/test-flows/app-system/README.md)：13 组可安装任务、使用步骤、覆盖清单及实际验收报告。
|
||||||
- [现状分析与可行性](docs/01-现状分析与可行性.md)
|
|
||||||
- [实施方案（三天）](docs/02-实施方案.md)
|
|
||||||
- [未接入能力名单](docs/04-未接入名单.md)
|
|
||||||
- [重复能力去留清单](docs/05-重复能力去留清单.md)
|
|
||||||
|
|
||||||
## 边界
|
## 边界
|
||||||
|
|
||||||
|
|||||||
@ -1,334 +0,0 @@
|
|||||||
# 画布式 RPA 桌面端 · 现状分析与可行性（调研稿）
|
|
||||||
|
|
||||||
> 编写时间：2026-10-26
|
|
||||||
> 参考目录：`D:\code\Agent-Employee`（只读）、`C:\rpa-demo`（只读）
|
|
||||||
> 本文件是决策输入，不是最终实施方案；带「待确认」的条目需要产品方拍板。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 0. 一句话结论
|
|
||||||
|
|
||||||
`D:\code\Agent-Employee` 里的 **1016 项 RPA 目录全部是静态元数据**（997 个厂商组件定义 + 16 个原生控制节点 + 3 个项目自有触发器），**不含任何厂商运行时**；`C:\rpa-demo` 只有**浏览器**动作层（CDP 可信输入，26/26 自测通过），没有画布、没有桌面能力、没有执行引擎。
|
|
||||||
|
|
||||||
因此三天内**不可能**做出"1016 个能力都能跑"的产品。可行的目标是：
|
|
||||||
|
|
||||||
> **一个本地优先的画布式 RPA 桌面端纵向切片**：左侧 1016 项目录可搜索、可拖拽、可配置；画布支持连线/分支/循环/变量；点运行后由真实执行内核跑通一条端到端流程；未接入的组件在目录和节点上显式标记，运行时给出明确失败原因。
|
|
||||||
|
|
||||||
建议真实可执行组件目标 **100～140 项**（覆盖浏览器、文件、Excel、字符串/时间/列表、键鼠/窗口、HTTP/邮件），其余标记「目录可用、执行器待接入」。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 1. 参考资产盘点
|
|
||||||
|
|
||||||
### 1.1 `D:\code\Agent-Employee`：产品全量仓库，RPA 只是其中一块
|
|
||||||
|
|
||||||
| 资产 | 位置 | 结论 |
|
|
||||||
|---|---|---|
|
|
||||||
| 1016 项目录 | `code/frontend/apps/desktop/src/renderer/product-preview/pages/workflows/shizai-catalog-data.js`（1.8 MB） | **可直接复用**：997 组件完整字段、默认值、分类、函数签名 |
|
|
||||||
| 目录投影/分组 | 同目录 `component-catalog.js` | 可复用 11 组分组规则、字段类型映射、3 个触发器、别名表 |
|
|
||||||
| 现有流程页 | `product-preview/pages/workflows/page.js`（50 KB） | 已有：搜索筛选、增删节点、属性面板、缩放、纵向流式画布、localStorage 草稿。**不足：不是自由画布，不能拖拽定位，没有执行器** |
|
|
||||||
| 设计原型 | `项目资料/UI设计/20261021/流程编排页原型.html` | 纵向线性流程，非拖拽画布；可作视觉基调参考 |
|
|
||||||
| 浏览器插件契约 | `code/backend/packages/browser-plugin/src/index.ts` | 只声明 `navigate/click/type/snapshot` 四个动作，`unsigned-development` |
|
|
||||||
| Windows 插件契约 | `code/backend/packages/windows-plugin/src/index.ts` | 只声明契约，无实现 |
|
|
||||||
| Windows Runner | `code/backend/services/windows-runner/native/*.cs` | **只读 UIA/截图观察**，注释明确"没有 SendInput / SetForegroundWindow / 进程启动" |
|
|
||||||
| 工作流引擎 | `code/backend/packages/workflow-engine/src/*` | 服务端 PostgreSQL 工作流运行/审批/恢复，**不适合本机三天产品**（要 Docker/PG/多服务） |
|
|
||||||
| 预览客户端 | `交付物/客户端/Windows/x64/0.1.0-preview.1/` | 已有 Electron 安装包，但只跑前端演示，不含 RPA 执行器 |
|
|
||||||
|
|
||||||
**判断**：目录元数据是最大可复用资产；现有画布是"线性步骤列表"，与用户要的"自由拖拽画布"不是一回事；后端工作流栈不适合三天工期。
|
|
||||||
|
|
||||||
### 1.2 1016 项目录的真实构成
|
|
||||||
|
|
||||||
来自 `shizai-catalog-data.js` 的 `counts`（已用脚本解析核对）：
|
|
||||||
|
|
||||||
| 项 | 数量 |
|
|
||||||
|---|---:|
|
|
||||||
| 厂商组件定义 | 997 |
|
|
||||||
| 原生控制节点（IF/循环/异常/子流程…） | 16 |
|
|
||||||
| 项目自有触发器（人工/定时/文件到达） | 3 |
|
|
||||||
| **合计** | **1016** |
|
|
||||||
| 普通输入字段 | 4258（其中必填 1318，占 31%） |
|
|
||||||
| 输出字段 | 690 |
|
|
||||||
| 选项字段 | 6148 |
|
|
||||||
| 唯一函数名 | 997（组件与函数 1:1） |
|
|
||||||
| 字段数为 0 的组件 | 22 |
|
|
||||||
| 字段数 1–3 / 4–8 / 9–15 / 16+ | 473 / 414 / 75 / 13 |
|
|
||||||
|
|
||||||
按产品分组（沿用现有 `component-catalog.js` 规则）：
|
|
||||||
|
|
||||||
| 分组 | 组件数 | 说明 |
|
|
||||||
|---|---:|---|
|
|
||||||
| 网页自动化（WebBrowser + Element） | 187 | 浏览器与元素操作，最接近 rpa-demo 能力 |
|
|
||||||
| Office 与文档（Excel/Word/PDF/转换） | 230 | Excel 单独 170 项，是最大单一包 |
|
|
||||||
| 数据处理（表格/字符串/时间/列表/字典/数学/正则…） | 167 | 纯函数为主，最容易批量实现 |
|
|
||||||
| 图像与 OCR | 100 | 依赖视觉模型/厂商服务，三天不做 |
|
|
||||||
| 网络与消息（HTTP/邮件/通知/NLP） | 82 | HTTP/邮件可做，NLP 不做 |
|
|
||||||
| 桌面与键鼠（键盘/鼠标/窗口/剪贴板/对话框） | 79 | 需 Windows 原生桥 |
|
|
||||||
| 应用与系统（App/System/Basic/屏幕控制） | 60 | 部分可做（启动进程/环境变量/延迟/变量） |
|
|
||||||
| 文件与传输（File/FTP） | 46 | 可做文件系统，FTP 可选 |
|
|
||||||
| 移动与外设 | 46 | 需 ADB/Appium/机械臂，三天不做 |
|
|
||||||
| 编排控制 | 16 | IF/计次/条件/无限循环/遍历/异常/子流程/退出 |
|
|
||||||
| 触发器 | 3 | 人工/定时/文件到达 |
|
|
||||||
|
|
||||||
**关键事实**：`functions[].function`（如 `Excel.Cs_ReadContentV2`）只是**名称映射**，原厂商实现依赖 Python 包、原生 SDK、浏览器扩展、Office COM、云端 OCR 等，目录里没有一行可执行代码。仓库 README 也明确写着"不代表这些动作已经可执行"。
|
|
||||||
|
|
||||||
### 1.3 `C:\rpa-demo`：可复用的浏览器执行层
|
|
||||||
|
|
||||||
| 能力 | 事实 |
|
|
||||||
|---|---|
|
|
||||||
| 形态 | Electron 31.7.7 + 多标签 `WebContentsView` + 右侧任务面板 |
|
|
||||||
| 动作层 | `actions.js`：CDP `Input` 域可信输入，5 级定位（testid→aria→text→css→xpath），统一结果/错误码/后置条件/证据 |
|
|
||||||
| 流程 | `flows/*.json` 声明式步骤 + 顺序回放 + 失败即停 + 每步证据 |
|
|
||||||
| 拾取器 | 注入点击捕获，生成候选 locator |
|
|
||||||
| 安全 | 域名 allowlist、高影响动作开关、`actionId` 幂等去重 |
|
|
||||||
| 自测 | `selftest-out.txt`：**26/26 通过**（点击/输入/下拉/等待/表格/错误分类/证据/越界/流程回放） |
|
|
||||||
| 不足 | 只有浏览器；无画布；无变量系统（只有 runId 注入）；无桌面/Office；单窗口任务面板是死脚本 |
|
|
||||||
|
|
||||||
**判断**：`actions.js` + 拾取器 + 流程回放语义可以整体搬进新产品，改造成本低，是三天内"真的能跑"的最大保障。
|
|
||||||
|
|
||||||
### 1.4 环境事实（本机）
|
|
||||||
|
|
||||||
| 项 | 结果 |
|
|
||||||
|---|---|
|
|
||||||
| OS | Windows 11 专业版 26200 |
|
|
||||||
| Node / npm / Bun | 22.13.0 / 10.9.2 / 1.4.3 |
|
|
||||||
| Python | `py -3.10` 可用；已装 numpy/Pillow/opencv/pyautogui/pywin32；**无** pandas/openpyxl/python-docx/PyMuPDF |
|
|
||||||
| Office COM | Excel、Word 已安装（`Excel.Application` / `Word.Application` 注册存在） |
|
|
||||||
| 显示 | 1920×1080，主屏 100% 缩放（125%/150% 仍需冒烟） |
|
|
||||||
| 网络 | npm 官方源与 npmmirror 均可达 |
|
|
||||||
| 磁盘 | C: 仅剩 ~9.9 GB；D: 剩 ~159 GB → **项目与依赖放 D:** |
|
|
||||||
| Electron | `C:\rpa-demo\node_modules\electron` 已下载 31.7.7，可离线复用 |
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 2. 能做 / 不能做（三天口径）
|
|
||||||
|
|
||||||
### 2.1 建议纳入"真实可执行"
|
|
||||||
|
|
||||||
| 层 | 能力 | 预计可执行组件 | 实现方式 |
|
|
||||||
|---|---|---|---|
|
|
||||||
| L0 控制 | IF、计次循环、遍历列表、条件循环、异常捕获、跳出/继续、退出、子流程、设置变量、延迟、日志 | 16 个控制节点 + 基础组件 | 自研解释器 |
|
|
||||||
| L1 浏览器 | 打开/导航/点击/输入/取文本/取属性/等待/存在判断/下拉/悬停/滚动/截图/表格提取/执行 JS/标签页/上传下载 | 60～80 | 复用 `actions.js` + CDP + 拾取器 |
|
|
||||||
| L2 文件 | 读/写/复制/移动/删除/重命名/存在/列表/建目录/压缩/解压 | 25～35 | Node `fs` + `adm-zip` |
|
|
||||||
| L3 Excel/PDF/Word | 新建/打开/读区域/写单元格/写区域/追加/保存/工作表增删改/查找；PDF 页数/文本/合并；Word 写入 | 35～45 | `exceljs` + `pdf-lib` + `pdfjs-dist`；Word 走 COM 桥 |
|
|
||||||
| L4 数据 | 字符串/时间/数学/正则/列表/字典/JSON/CSV/数据表筛选排序去重 | 50～70 | 纯 JS 函数库 |
|
|
||||||
| L5 桌面 | 键鼠输入/热键/坐标点击/窗口查找激活/窗口状态/进程启动/剪贴板/消息框/文件对话框/环境变量/命令执行 | 35～45 | PowerShell 5.1 桥（UIA + SendInput） |
|
|
||||||
| L6 网络 | HTTP 请求、SMTP 发信、FTP 上传下载（可选）、PostgreSQL（可选） | 8～15 | `fetch` / `nodemailer` / `basic-ftp` / `pg` |
|
|
||||||
|
|
||||||
**合计目标：约 110～150 项可执行**（按函数名注册，允许同类组件共享实现内核）。
|
|
||||||
|
|
||||||
### 2.2 明确不做（三天）
|
|
||||||
|
|
||||||
- 移动端/外设/机械臂（Mobile、peripherals，46 项）
|
|
||||||
- OCR、验证码、图像模板匹配、视觉定位（100 项；最多做"截图 + 区域保存"）
|
|
||||||
- NLP/AIGC/云服务类（NLP、DataService、Scenario 等）
|
|
||||||
- SAP、IE、Java 应用、Chrome 扩展等厂商专有通道
|
|
||||||
- 并行分支、分布式执行、审批流、多租户、云端市场
|
|
||||||
- 厂商 Python 运行时对接（本机未安装该产品，且无授权运行时）
|
|
||||||
|
|
||||||
### 2.3 "未接入"组件的产品处理
|
|
||||||
|
|
||||||
建议（待确认）：**目录全量保留 + 状态徽标**。
|
|
||||||
|
|
||||||
- 可执行：绿色圆点 + 可拖拽
|
|
||||||
- 待接入：灰色徽标「待接入」，可拖拽但节点置灰，运行时在日志中明确报 `capability_not_implemented`，不静默跳过
|
|
||||||
- 目录顶部显示统计：`1016 项目录 / 当前可执行 N 项`
|
|
||||||
- 属性面板仍可编辑（元数据完整），便于后续接执行器
|
|
||||||
|
|
||||||
这样既满足"1016 个能力都能拖"的观感，又不谎称可执行。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 3. 推荐技术方案
|
|
||||||
|
|
||||||
### 3.1 形态
|
|
||||||
|
|
||||||
**新建独立 Electron 桌面应用（`D:\RPA`），不直接改 `Agent-Employee`。**
|
|
||||||
|
|
||||||
理由：
|
|
||||||
|
|
||||||
1. `Agent-Employee` 是 OpenCode v2 fork + 服务端栈，启动/构建/依赖都重；三天内集成会先耗在环境上。
|
|
||||||
2. 本产品需要主进程直接持有 `WebContentsView` 做 CDP、直接 `child_process` 调 PowerShell，独立应用最直接。
|
|
||||||
3. 目录元数据、画布视觉、动作语义都可复制/对齐，后续可平移回 `Agent-Employee`。
|
|
||||||
4. 交付物清晰：一个可双击的 exe + 源码 + 文档。
|
|
||||||
|
|
||||||
### 3.2 技术栈
|
|
||||||
|
|
||||||
| 层 | 选型 | 说明 |
|
|
||||||
|---|---|---|
|
|
||||||
| 壳 | Electron 31.7.7 | 复用本机已缓存版本，避免大版本差异 |
|
|
||||||
| 构建 | electron-vite + Vite + React 18 + TypeScript | 主进程/预加载/渲染进程一套工程 |
|
|
||||||
| 画布 | `@xyflow/react`（React Flow） | 拖拽、连线、缩放、MiniMap、分组容器，三天内唯一现实选择 |
|
|
||||||
| 状态 | Zustand + immer | 画布状态、运行状态分离 |
|
|
||||||
| 样式 | 原生 CSS 变量 + 设计令牌 | 对齐现有预览视觉（浅色、蓝灰、圆角） |
|
|
||||||
| 持久化 | 本地 JSON 文件（`userData/flows/*.json`）+ 运行记录 JSONL | 不引入数据库 |
|
|
||||||
| 执行 | 主进程 Node 解释器 + 能力注册表 | 与 UI 通过 IPC 事件流通信 |
|
|
||||||
| 桌面 | PowerShell 5.1 常驻子进程（JSON over stdio） | UIAutomation + user32 `SendInput`，免原生模块编译 |
|
|
||||||
| 浏览器 | 内嵌 `WebContentsView` + CDP | 搬 `actions.js` |
|
|
||||||
| 打包 | `@electron/packager` 产出 portable 目录/ZIP；有余量再加 NSIS | 避开 electron-builder 的签名工具下载风险 |
|
|
||||||
|
|
||||||
### 3.3 画布数据模型（草案）
|
|
||||||
|
|
||||||
```jsonc
|
|
||||||
{
|
|
||||||
"schemaVersion": 1,
|
|
||||||
"id": "flow_01",
|
|
||||||
"name": "网页订单录入",
|
|
||||||
"variables": [{ "name": "orderNo", "type": "string", "default": "" }],
|
|
||||||
"nodes": [
|
|
||||||
{ "id": "n1", "componentId": "Trigger.Manual", "position": { "x": 80, "y": 40 }, "values": {} },
|
|
||||||
{ "id": "n2", "componentId": "WebBrowser_CreateV3", "position": { "x": 80, "y": 180 },
|
|
||||||
"values": { "browserType": "内置浏览器" }, "outputVar": "web" },
|
|
||||||
{ "id": "n3", "componentId": "logic_control_if_else", "position": { "x": 80, "y": 320 },
|
|
||||||
"values": { "condition": "${amount} > 1000" } },
|
|
||||||
{ "id": "n4", "componentId": "Element_Click_V6", "position": { "x": 80, "y": 420 },
|
|
||||||
"parentId": "n3", "slot": "statement_if", "values": { "uiSelector": "…" } }
|
|
||||||
],
|
|
||||||
"edges": [{ "id": "e1", "source": "n1", "target": "n2", "sourceHandle": "out" }]
|
|
||||||
}
|
|
||||||
```
|
|
||||||
|
|
||||||
- **节点**：`componentId` 指向 1016 目录；`values` 是字段键值；`outputVar` 接收返回值。
|
|
||||||
- **容器**：IF/循环/异常节点通过 `parentId` + `slot` 形成子画布；React Flow 原生父子节点即可承载。
|
|
||||||
- **连线**：默认顺序边；IF 节点两个出口 `true/false`；循环体走容器子节点，循环后走 `after` 出口。
|
|
||||||
- **变量**：`${var}`、`${var.field}`、`${list[0]}`；表达式使用自研小型解析器（不用 `eval`）。
|
|
||||||
|
|
||||||
### 3.4 执行模型
|
|
||||||
|
|
||||||
```
|
|
||||||
校验（组件存在/必填/连线/环检测）
|
|
||||||
→ 编译（容器树 → 执行计划）
|
|
||||||
→ 逐节点执行（上下文：变量、密钥引用、浏览器会话、证据目录）
|
|
||||||
→ 每个节点产出 { status, output, logs, evidence, errorCode, durationMs }
|
|
||||||
→ 失败按节点策略（停止 / 重试 N 次 / 跳过 / 人工确认）
|
|
||||||
```
|
|
||||||
|
|
||||||
错误码封闭集合：`not_found / timeout / blocked_url / capability_not_implemented / expression_error / io_error / office_error / desktop_error / cancelled / unknown`。
|
|
||||||
|
|
||||||
**证据**：每步可截图（浏览器/桌面）、保存输出摘要；运行目录 `userData/runs/<runId>/`，路径只回传相对路径。
|
|
||||||
|
|
||||||
### 3.5 目录 → 表单 → 执行器
|
|
||||||
|
|
||||||
1. 启动时把 1016 项加载为 `ComponentDefinition`（离线 JSON，随包）。
|
|
||||||
2. 字段 `displayType`（200+ 种）归并为 12 类控件：文本/表达式、数字、下拉、单选、复选、文件、目录、多行、代码、密钥、元素选择器、区域选择；未知类型降级为文本并标注。
|
|
||||||
3. 执行器注册表以 `functions[].function` 为键：
|
|
||||||
|
|
||||||
```ts
|
|
||||||
register("StrUtil.SplitStr", (ctx, args) => { … })
|
|
||||||
register("Excel.Cs_ReadContentV2", async (ctx, args) => { … })
|
|
||||||
```
|
|
||||||
|
|
||||||
4. 未注册的函数在编译期标记 `implemented=false`，运行时返回 `capability_not_implemented`，并给出"已注册 N/997"的统计。
|
|
||||||
|
|
||||||
### 3.6 桌面桥（关键风险点）
|
|
||||||
|
|
||||||
PowerShell 5.1 常驻进程，stdin/stdout 行分隔 JSON：
|
|
||||||
|
|
||||||
| 命令 | 实现 |
|
|
||||||
|---|---|
|
|
||||||
| `win.find/activate/state/rect/close` | user32 `FindWindow/EnumWindows/SetForegroundWindow/ShowWindow` |
|
|
||||||
| `uia.find/invoke/setValue/getText` | `UIAutomationClient` 程序集 |
|
|
||||||
| `input.click/move/scroll/type/hotkey` | user32 `SendInput`（绝对坐标用 `MOUSEEVENTF_ABSOLUTE`） |
|
|
||||||
| `screen.capture` | `System.Drawing` 截屏 |
|
|
||||||
| `clip.get/set` | `System.Windows.Forms.Clipboard` |
|
|
||||||
|
|
||||||
要点：
|
|
||||||
- 启动时声明 Per-Monitor DPI Awareness，坐标统一用**物理像素**；Electron 侧按 `screen.getPrimaryDisplay().scaleFactor` 换算。
|
|
||||||
- UIA 操作优先（元素可访问），坐标点击作为兜底并标注风险。
|
|
||||||
- 目标窗口不在前台时先 `SetForegroundWindow`，失败要显式报错，不盲点。
|
|
||||||
|
|
||||||
### 3.7 打包与交付
|
|
||||||
|
|
||||||
- `npm run build` → `dist/win-unpacked/`，双击 `RPA Studio.exe` 启动。
|
|
||||||
- `npm run package` → ZIP + 版本清单 + SHA256。
|
|
||||||
- 交付：源码、可执行包、`README`、示例流程 2 条、自测报告、演示脚本。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 4. 三天排期（含今天 2026-10-26）
|
|
||||||
|
|
||||||
> 假设：单人 + AI 辅助，今天可用约 12 小时，后两天各约 12 小时。每半天一个可验收产物。
|
|
||||||
|
|
||||||
### Day 1（10/26）：地基 + 画布
|
|
||||||
| 时段 | 任务 | 验收 |
|
|
||||||
|---|---|---|
|
|
||||||
| 上午 | 工程脚手架（Electron+Vite+React+TS）、设计令牌、三栏布局、路由 | `npm run dev` 起窗口 |
|
|
||||||
| 下午 | 目录加载与 11 组分组、搜索/虚拟列表、拖拽入画布、节点卡片、连线/删除/框选、缩放/MiniMap | 能从 1016 项拖 5 个节点并连线 |
|
|
||||||
| 晚上 | 属性面板（12 类控件）、变量面板、流程保存/加载、撤销重做 | 刷新后流程还原 |
|
|
||||||
| 睡前 | 容器节点（IF/循环）父子拖放与几何 | 能把节点拖进 IF 分支 |
|
|
||||||
|
|
||||||
### Day 2（10/27）：执行内核 + 浏览器 + 桌面
|
|
||||||
| 时段 | 任务 | 验收 |
|
|
||||||
|---|---|---|
|
|
||||||
| 上午 | 解释器（编译/执行/变量/表达式/错误策略/日志事件） | 直线流程可跑 |
|
|
||||||
| 下午 | 浏览器运行时（搬 `actions.js`）+ 元素拾取器 + 截图证据 | 打开网页、点击、输入、取文本 |
|
|
||||||
| 晚上 | 桌面桥（PowerShell）+ 键鼠/窗口/剪贴板/对话框 | 能操作记事本/计算器 |
|
|
||||||
| 睡前 | 数据/文件/字符串/时间 批量执行器（60+） | 单节点用例通过 |
|
|
||||||
|
|
||||||
### Day 3（10/28）：Office/网络 + 联调 + 打包
|
|
||||||
| 时段 | 任务 | 验收 |
|
|
||||||
|---|---|---|
|
|
||||||
| 上午 | Excel/PDF/Word、HTTP/邮件执行器 | 读写 xlsx、发测试邮件 |
|
|
||||||
| 下午 | 运行面板（状态高亮/日志/变量/证据）、停止/重试、示例流程 | 端到端流程跑通 |
|
|
||||||
| 晚上 | 打包 portable、冒烟（100%/125%/150%）、README/演示脚本/自测报告 | 双击 exe 可演示 |
|
|
||||||
|
|
||||||
**若进度落后，砍功能顺序**：FTP/DB → Word/PDF → 邮件 → 桌面 UIA（保留坐标键鼠）→ 循环容器（保留 IF）→ 目录全量（退化为可执行子集）。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 5. 建议的验收脚本（Demo）
|
|
||||||
|
|
||||||
**场景 A（主推，跨 Web + Office + 消息）**
|
|
||||||
1. 打开内置浏览器 → 访问本地夹具页/演示站
|
|
||||||
2. 填写表单（姓名/金额）→ 点击提交
|
|
||||||
3. 抓取结果表格 → 写入 Excel（新建/指定模板）
|
|
||||||
4. IF 金额 > 1000 → 发邮件/桌面通知；否则记录日志
|
|
||||||
5. 运行面板显示每步耗时、截图、变量值
|
|
||||||
|
|
||||||
**场景 B（纯桌面 + 文件）**
|
|
||||||
1. 启动记事本 → 输入文本 → 保存到指定目录
|
|
||||||
2. 读取目录内 xlsx → 筛选 → 另存为新文件
|
|
||||||
3. 弹窗提示完成
|
|
||||||
|
|
||||||
**画布验收**：1016 项可搜、11 组筛选、拖拽/连线/容器/变量/保存重载/运行高亮/失败定位。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 6. 风险清单
|
|
||||||
|
|
||||||
| 风险 | 影响 | 缓解 |
|
|
||||||
|---|---|---|
|
|
||||||
| "1016 个组件"被理解成"1016 个都能跑" | 验收预期落差 | 目录徽标 + 启动页统计 + 运行时明确报错；文档写清边界 |
|
|
||||||
| 三天做不完 | 交付缩水 | 纵向切片优先；未完成项按"砍功能顺序"降级 |
|
|
||||||
| 桌面自动化 DPI/焦点/权限 | 演示失败 | PowerShell 桥显式 DPI、UIA 优先、坐标兜底；100/125/150 冒烟 |
|
|
||||||
| Excel COM 慢/弹窗/版本差异 | 卡住流程 | 文件级用 `exceljs`；COM 只用于"可见打开"演示 |
|
|
||||||
| 内嵌浏览器与用户 Chrome 差异 | 登录态/站点兼容 | 明确"内置浏览器"，不做外部 Chrome 接管 |
|
|
||||||
| 未接入组件被拖入流程 | 运行中断 | 编译期阻断 + 画布红标 + 一键定位 |
|
|
||||||
| C 盘空间不足 | 构建失败 | 全部依赖与缓存放 D 盘；Electron 复用本地缓存 |
|
|
||||||
| 第三方包下载失败 | 阻塞 | 已确认 npm 源可达；关键包锁定版本并本地缓存 |
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 7. 待产品方确认（详见对话提问）
|
|
||||||
|
|
||||||
1. 基底：独立新项目 vs 并入 `Agent-Employee`
|
|
||||||
2. 三天验收重心：纵向切片 / 组件广度 / 画布完成度
|
|
||||||
3. 必须真实执行的类别
|
|
||||||
4. 未接入组件的处理方式
|
|
||||||
5. 画布控制结构深度（IF / 循环 / 并行）
|
|
||||||
6. 演示场景（网页+Excel+邮件 / 纯桌面 / 自定义系统）
|
|
||||||
7. 交付物形态（portable exe / 安装包 / 源码 / 视频）
|
|
||||||
8. 环境约束（可装 npm 包、可调 PowerShell、是否离线、缩放适配）
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 8. 参考文件索引
|
|
||||||
|
|
||||||
- 目录数据：`D:\code\Agent-Employee\code\frontend\apps\desktop\src\renderer\product-preview\pages\workflows\shizai-catalog-data.js`
|
|
||||||
- 目录投影：同目录 `component-catalog.js`
|
|
||||||
- 现有流程页：同目录 `page.js`、`index.html`
|
|
||||||
- 设计原型：`D:\code\Agent-Employee\项目资料\UI设计\20261021\流程编排页原型.html`
|
|
||||||
- 浏览器动作层：`C:\rpa-demo\actions.js`、`main.js`、`flows.js`、`selftest.js`
|
|
||||||
- 动作契约：`C:\rpa-demo\AI-接手开发指南.md`
|
|
||||||
- 浏览器插件契约：`D:\code\Agent-Employee\code\backend\packages\browser-plugin\src\index.ts`
|
|
||||||
- Windows 只读 Runner：`D:\code\Agent-Employee\code\backend\services\windows-runner\native\NativeWindows.cs`
|
|
||||||
- 厂商实现分析：`D:\code\Agent-Employee\项目资料\开发方案\实在ai分析结果\01-总览与结论\全功能实现逻辑总览.md`
|
|
||||||
661
docs/02-实施方案.md
661
docs/02-实施方案.md
@ -1,661 +0,0 @@
|
|||||||
# 画布式 RPA 桌面端 · 实施方案（三天）
|
|
||||||
|
|
||||||
> 制定时间：2026-10-26 09:50
|
|
||||||
> 依据：`D:\code\Agent-Employee`（只读）、`C:\rpa-demo`（只读）、2026-10-26 需求确认
|
|
||||||
> 本方案是执行基线：范围、契约、排期、验收、降级顺序都在这里；实施中变更必须回写本文件。
|
|
||||||
|
|
||||||
> **2026-10-30 当前状态**：常用本地能力已进入注册表或运行时容器，覆盖控制/触发、除数据库外的数据处理、文件、网页元素层级/表格/下拉框/浏览器控制/Cookie/下载及 DOM 高级能力、HTTP、Excel 常用读写/格式/筛选/历史版本、系统路径与环境变量、进程管理、桌面键鼠/窗口对象/剪贴板图片/对话框、PDF、Word 文档编辑、SMTP 与群机器人 Webhook、文本差异、工作日判断、屏幕截图、离线图像查找与点击、FTP、人机交互表单对话框、Windows 凭据/远程桌面/屏保、ECharts 图表读取、AI 文本能力（用户自配服务）、离线 OCR；启动后目录显示 **732 项可执行 / 1016 项总目录**。当前 26 个测试文件共 167 条测试，浏览器 E2E 真实结果为“订单创建成功：RPA 客户，金额 128”。数据处理仅剩 8 个待评估的数据库组件。设置页可查看分类覆盖和处理器 ID 数量。此后以集中场景测试与稳定性修复为主，不再追求厂商云端、硬件和专用通道数量。（原 2026-10-27 快照：619 项可执行 / 23 个测试文件 138 条测试）
|
|
||||||
|
|
||||||
> 浏览器端到端门禁：`npm run test:e2e` 使用隔离用户目录启动应用和本地演示站，真实执行打开网页、两次可信输入、点击提交和读取结果；期望结果必须精确包含“订单创建成功：RPA 客户，金额 128”。浏览器输入、点击、定位歧义和遮挡检查机制已对照 `C:\rpa-demo/actions.js` 校准。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 0. 决策记录（2026-10-26 确认）
|
|
||||||
|
|
||||||
| # | 问题 | 结论 |
|
|
||||||
|---|---|---|
|
|
||||||
| 1 | 代码基底 | 在 `D:\RPA` 新建独立 Electron 应用 |
|
|
||||||
| 2 | 三天验收重心 | 一条真实流程端到端跑通 |
|
|
||||||
| 3 | 必须真实执行 | 浏览器网页、文件与 Excel、桌面键鼠/窗口/剪贴板/对话框、数据/字符串/时间/列表/正则、HTTP 与邮件、PDF/Word；图像/OCR「最好有」；移动端不做；数据库/FTP 靠后 |
|
|
||||||
| 4 | 未接入组件 | **全量 1016 可拖拽；未接入项灰标「待接入」，运行时明确报错**（2026-10-26 10:20 调整，覆盖早前"只导入可执行子集"） |
|
|
||||||
| 5 | 画布深度 | 顺序 + IF + 循环容器 |
|
|
||||||
| 6 | 演示场景 | 待定；默认用本地夹具页，可替换为你的系统 |
|
|
||||||
| 7 | 元素拾取 | 浏览器必须；桌面手工填 |
|
|
||||||
| 8 | 交付物 | 可双击运行的 portable 包 + 自测报告（源码随仓库交付） |
|
|
||||||
| 9 | 约束 | 可装 npm 依赖；可用 PowerShell 做桌面自动化；**运行期完全离线**；适配 125%/150% 缩放 |
|
|
||||||
|
|
||||||
### 需要你知晓的三个默认取舍
|
|
||||||
|
|
||||||
1. **产品包含 1016 全量目录**：可执行项正常拖拽；未接入项灰标「待接入」，可拖入画布但运行时在该节点给出 `capability_not_implemented` 与替代建议。目录数据随包（约 1.8 MB）。
|
|
||||||
2. **OCR 不阻塞验收**：先做本地图像查找/点击（OpenCV 模板匹配，离线）；OCR 用 Windows 自带引擎作为可选加分项，做不成就在自测报告中标注未交付。
|
|
||||||
3. **厂商资料只做行为参考**：`实在ai分析结果` 与 `Rea-AgentShizai-cankao` 用于校准流程格式、组件字段、执行语义、错误与选择器模型；不复制厂商代码/二进制/模型/前端资产（授权未确认，见复用审查）。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 1. 交付定义（Definition of Done）
|
|
||||||
|
|
||||||
三天结束时，必须能在一台干净的 Windows 11 x64 机器上：
|
|
||||||
|
|
||||||
1. 解压 `RPA-Studio-0.1.0-win-x64.zip`，双击 `RPA Studio.exe` 启动，**无需联网、无需 Node/Python**（Word/图像为可选能力，缺依赖时显式降级）。
|
|
||||||
2. 左侧组件库可见 **1016 项**，按 11 组与「全部/可执行/待接入」筛选；可执行项正常拖拽，待接入项灰标但仍可拖入画布。
|
|
||||||
3. 新建流程 → 从左侧组件库拖入 ≥6 个能力 → 连线 → 配置参数、变量、超时/重试/失败策略 → 保存。
|
|
||||||
4. 点「运行」后流程真实执行，画布节点按状态高亮，运行面板显示每步日志/耗时/变量/截图；待接入节点在此处给出明确失败信息。
|
|
||||||
5. 跑通一条端到端流程：**内置浏览器打开本地夹具页 → 填表提交 → 抓取结果表格 → 写入 Excel → 按金额分支 → 桌面通知/发信**。
|
|
||||||
6. 故意制造失败（选择器不存在/文件不存在/待接入组件），流程在该节点停止，日志给出可分类错误码、原因、建议与证据。
|
|
||||||
7. 自测报告列出全部用例与通过情况，明确"可执行/待接入"清单。
|
|
||||||
|
|
||||||
**非目标（三天）**：移动端、机械臂、验证码、云端 OCR、并行分支、分布式、审批流、多租户、市场、录制器、AI 生成流程。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 2. 范围基线
|
|
||||||
|
|
||||||
### 2.1 产品内可执行组件（计划 130，验收目标 120，保底 90；目录仍展示 1016 全量）
|
|
||||||
|
|
||||||
| 族 | 目标 | 代表组件 | 实现要点 |
|
|
||||||
|---|---:|---|---|
|
|
||||||
| 控制/触发 | 14 | `logic_control_if_else`、`logic_control_count_for`、`logic_control_array_for_v3`、`logic_control_while`、`logic_control_try_catch`、`logic_control_var`、`logic_control_break_for`、`logic_control_next_for`、`logic_control_stop`、`Trigger.Manual`、`Trigger.FileArrival` | 自研解释器；容器父子节点；IF 双出口；循环带最大次数保护 |
|
|
||||||
| 浏览器/元素 | 28 | `WebBrowser_CreateV3`、`WebBrowser_GoUrl`、`WebBrowser_Switch`、`Element_Click_V6`、`Element_SetValue_V6`、`Element_GetText_V5`、`Element_Exists`、`Element_SelectOperation_v1`、`WebBrowser_RunJs`、`WebBrowser_SaveAs` | 内嵌 `WebContentsView` + CDP；移植 `C:\rpa-demo\actions.js`；五级定位；拾取器 |
|
|
||||||
| 文件 | 14 | `File_Read`、`File_Write`、`File_Copy`、`File_File_Move`、`File_DeleteFile`、`File_Rename`、`File_FileExists`、`File_GetFileList`、`File_MakeDir`、`File_CompressFile`、`File_DecompressFile`、`File_GetFileInfo` | Node `fs` + `adm-zip` |
|
|
||||||
| Excel/CSV | 18 | `Excel_Cs_NewV5`、`Excel_Cs_OpenV4`、`Excel_Cs_ReadContentV2`、`Excel_Cs_WriteCell`、`Excel_Cs_WriteRange`、`Excel_Cs_ReadRangeV2`、`Excel_Save`、`Excel_Cs_SaveAs`、`Excel_GetSheetsName`、`Excel_Cs_Insert`、`Excel_Cs_Rename`、`CSV_Read`、`CSV_Write` | `exceljs` 文件级；COM 只用于"可见打开"演示 |
|
|
||||||
| 数据/文本 | 28 | `StrUtil_InStr/CutOutStrV1/SplitStr/Replace/CaseChange/Trim/Len/Left/Right/Mid`、`Time_GetDate/FormatNew/DateOffset`、`List_CreateList/InsertList/ListLength/ListSorted`、`Dict_Create/GetItem/SetItem/Keys`、`Regex_Test/FindAll`、`Math_Round/Abs`、`JSON_Parse/Stringify`、`Basic_SetVariable/ConvertNumber` | 纯 JS，表驱动批量接入 |
|
|
||||||
| 桌面 | 16 | `Keyboard_Send_V1`、`Keyboard_PressNew`、`Mouse_Click`、`Mouse_MoveTo`、`Mouse_DragTo`、`Mouse_RollTo`、`Window_SetActive`、`Window_GetActive`、`Window_WindowExists`、`Window_CloseWindow`、`App_Run`、`Clipboard_GetText`、`Clipboard_SetText`、`Dialog_Notice`、`Dialog_MsgBox`、`System_ExecuteCommand` | PowerShell 5.1 常驻桥：UIA + `SendInput` + user32 |
|
|
||||||
| 网络/邮件 | 4 | `Http_Get`、`Http_Post`、`Mail_Send`、`Mail_UnionSend` | `fetch` + `nodemailer` |
|
|
||||||
| PDF/Word | 5 | `PDF_GetPdfPageNum`、`PDF_GetPdfText`、`PDF_ConcatPdf`、`Word_New`/`Word_Write`（含保存） | `pdf-lib` + `pdfjs-dist`；Word 走 COM |
|
|
||||||
| 图像 | 3 | `Image_Screenshot`、`Image_Find`、`Image_Click` | 截屏 + 模板匹配（OpenCV/Python 3.10 已装） |
|
|
||||||
|
|
||||||
> 说明：
|
|
||||||
> 1. 注册数以"函数名 → 实现"计；同一实现可挂多个组件变体（如 `Element_Click_V6` 与其变体）。最终以自测报告为准，未通过的不计入；**保底 90 项**是验收底线。
|
|
||||||
> 2. 目录展示 **1016 全量**（997 + 16 + 3）。上表是"能真实执行"的子集；其余组件灰标「待接入」，属性面板仍可查看/编辑元数据，运行时给出 `capability_not_implemented`。
|
|
||||||
> 3. 组件字段与校验从 `componentsNew.json` 的 `definition.args0` 派生：`vType`（rpa_str/int/float/bool/list/dict/excel/hWeb/window/any）、`validatorRules`、`displayParam`、`tip`、`isAdvanced`。
|
|
||||||
|
|
||||||
### 2.2 明确不交付
|
|
||||||
|
|
||||||
- 移动端/外设/机械臂/U 盾/远程桌面（46+ 项）
|
|
||||||
- OCR 验证码、NLP、AIGC、云服务类组件
|
|
||||||
- SAP/IE/Java 应用/浏览器扩展通道
|
|
||||||
- 并行、子流程跨文件、审批、多租户、云同步
|
|
||||||
|
|
||||||
### 2.3 路线图（三天后）
|
|
||||||
|
|
||||||
| 阶段 | 内容 |
|
|
||||||
|---|---|
|
|
||||||
| P2 | 剩余组件接入；厂商 `.task` 导入/导出；完整选择器结构（commonProps/selector[]）兼容 |
|
|
||||||
| P3 | 桌面 UIA 元素拾取、窗口选择器、图像 OCR、邮件 IMAP |
|
|
||||||
| P4 | 数据库/FTP/SAP、子流程与并行、审批与证据中心 |
|
|
||||||
| P5 | 与 `Agent-Employee` 的 Workflow/插件契约对齐、能力包分发 |
|
|
||||||
|
|
||||||
### 2.4 两份参考资产怎么用（2026-10-26 补充）
|
|
||||||
|
|
||||||
**结论：高价值行为参考，不做代码复制。** 它们解决四个关键问题：流程格式、组件定义、执行语义、错误与选择器模型。
|
|
||||||
|
|
||||||
| 资产 | 位置 | 用途 | 边界 |
|
|
||||||
|---|---|---|---|
|
|
||||||
| 复用审查（决策入口） | `实在ai分析结果/01-总览与结论/开发参考与复用审查.md` | 判断哪些机制可参考、哪些不能 | 厂商代码授权未确认，只参考机制 |
|
|
||||||
| 组件字典 | `Rea-AgentShizai-cankao/code/rpa-engine/componentDicts/componentsNew.json`（997 项） | 补全 `vType`、`validatorRules`、`displayParam`、`tip`、`isAdvanced`，驱动类型化表单与校验 | 仅构建期派生，不随包分发原始 JSON |
|
|
||||||
| 真实工程样例 | 同目录 `code/app/resources/examples/*.zip`（网页填表、新闻抓取、微信回复） | 对照 `.task` / `project.flow` / `globalVariable` / 生成的 `projects/flow_modules/*.py`，校准流程与执行语义 | 只读行为参考，不复制业务内容与截图 |
|
|
||||||
| 任务格式 | 样例包内 `*.task` | `componentModelEntities` + `MAIN_COMPONENT.statements` + `args0`/`options0`；据此定义节点 `options` 与容器 `statements` | 三天不做导入/导出 |
|
|
||||||
| 画布格式 | 样例包内 `project.flow` | 节点 x/y/width/height、shape、edges、anchors、`reTryCount`、`errorVar` | 厂商是"块级画布 + 块内步骤"，我们是单层画布 |
|
|
||||||
| 执行与错误语义 | `Rea.../code/derived-engine-core`（203 份源）+ `rpa-engine/conf/err_code/err_codes.py` | 重试/超时/skip/log 规则、错误 reason+recommendation、元素变量插值 | 不复制实现；用公开库重写 |
|
|
||||||
| 选择器模型 | 样例 `globalVariable` 的 `SHIZAI_ELEMENT_DICT`；`common/util/elements_util.py` | `{commonProps, selector:[{name, props:[{name,value,pattern}]}]}`；`${}` 插值；pattern 枚举 | v1 存简化选择器，P2 兼容完整结构 |
|
|
||||||
| 组件包 | `rpa-engine/311_32/packages/*`（54 包，`.pyc` + `.pyi` + `config.json`） | 查函数签名、表单 schema、参数顺序 | 字节码不是源码，不复制 |
|
|
||||||
| 前端/插件 | `code/app/resources/*`、`code/support/*` | UI 交互、浏览器扩展安装、Office 插件行为参考 | 资产与二进制不复制 |
|
|
||||||
|
|
||||||
**采纳到契约里的具体设计：**
|
|
||||||
|
|
||||||
1. 节点 `options` 对齐 `options0`：`delayBeforeMs`、`delayAfterMs`、`timeoutMs`、`retryCount`（1..100）、`retryIntervalMs`（1..600s）、`skipOnError`、`logException`、`outputVar`。
|
|
||||||
2. 容器子节点保存为有序 `statements`（等价厂商 `input_statement`）；画布仍用连线 + 父子关系，保存时编译为 statements。
|
|
||||||
3. 变量类型映射：`rpa_str/int/float/bool/list/dict/excel/hWeb/window/any` → 我们的 `string/number/boolean/list/dict/excel/browser/window/any`。
|
|
||||||
4. 错误对象扩展为 `{ code, reason, recommendation, location:{flowId,nodeId,componentId,arg} }`；失败日志展示"原因 + 建议 + 定位"。
|
|
||||||
5. 选择器 v1 存 `{kind:'css'|'aria'|'text', value, name?}`；拾取器同时产出厂商式候选，P2 再落完整 `commonProps/selector[]`。
|
|
||||||
6. 用真实样例做回归夹具：在本地夹具页复刻"读 Excel → 填网页 → 提交"的链路，验证语义，不复制内容。
|
|
||||||
7. 执行策略对齐：`skipOnError` 记错误日志并继续；`retryCount` 仅对可重试错误生效；参数校验失败不重试；`timeoutMs` 为整次调用总时限。
|
|
||||||
|
|
||||||
**明确不做：** 复制厂商 `.pyc/.dll/.exe/模型/前端资产`；调用厂商云服务；内置厂商运行时；三天内做 `.task` 导入/导出。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 3. 产品形态与信息架构
|
|
||||||
|
|
||||||
```
|
|
||||||
┌──────────────────────────────────────────────────────────────┐
|
|
||||||
│ 顶栏：Logo | 流程名 | 保存状态 | 撤销/重做 | 缩放 | ▶运行 ■停止 │
|
|
||||||
├─────────┬──────────────────────────────────────┬─────────────┤
|
|
||||||
│ 左栏 │ 画布（点阵/节点/连线/容器/MiniMap） │ 右栏 │
|
|
||||||
│ 流程列表 │ │ 属性/变量/运行 │
|
|
||||||
│ 组件库 │ │ │
|
|
||||||
│ 变量 │ │ │
|
|
||||||
│ 运行历史 │ │ │
|
|
||||||
├─────────┴──────────────────────────────────────┴─────────────┤
|
|
||||||
│ 底部运行抽屉：时间 | 节点 | 状态 | 耗时 | 输出/错误 | 截图 │
|
|
||||||
└──────────────────────────────────────────────────────────────┘
|
|
||||||
```
|
|
||||||
|
|
||||||
页面：
|
|
||||||
1. **首页/流程列表**：新建、导入、最近运行、`1016 项目录 / 可执行 N 项`。
|
|
||||||
2. **编辑器**（核心）：左组件库 + 中画布 + 右属性/运行。
|
|
||||||
3. **运行历史**：run 列表、状态、耗时、日志与证据查看。
|
|
||||||
4. **设置**：浏览器域名白名单、证据开关、超时、外观。
|
|
||||||
|
|
||||||
组件库展示 **1016 全量**，分组沿用 11 组；顶部显示「1016 项目录 · 可执行 N 项」，并提供「全部 / 可执行 / 待接入」筛选。可执行项正常拖拽；待接入项灰标、可拖入但运行时明确失败。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 4. 技术架构
|
|
||||||
|
|
||||||
### 4.1 技术栈
|
|
||||||
|
|
||||||
| 层 | 选型 |
|
|
||||||
|---|---|
|
|
||||||
| 壳 | Electron 31.7.7（复用本机缓存） |
|
|
||||||
| 构建 | electron-vite + Vite + React 18 + TypeScript |
|
|
||||||
| 画布 | `@xyflow/react`（React Flow） |
|
|
||||||
| 状态 | Zustand（flowStore / runStore / uiStore） |
|
|
||||||
| 样式 | CSS 变量 + 设计令牌，无 UI 框架依赖 |
|
|
||||||
| 存储 | 本地 JSON（`userData`） |
|
|
||||||
| 测试 | Vitest（单元）+ `scripts/selftest.mjs`（Electron 主进程集成） |
|
|
||||||
|
|
||||||
### 4.2 目录结构
|
|
||||||
|
|
||||||
```
|
|
||||||
D:\RPA
|
|
||||||
├─ package.json
|
|
||||||
├─ electron.vite.config.ts
|
|
||||||
├─ resources/
|
|
||||||
│ ├─ catalog.json # 1016 全量 + 可执行状态 + 类型/校验元数据
|
|
||||||
│ ├─ fixture/ # 本地演示站点（离线）
|
|
||||||
│ └─ desktop-bridge.ps1 # 桌面自动化桥
|
|
||||||
├─ src/
|
|
||||||
│ ├─ shared/ # 类型、常量、错误码（主/渲染共用）
|
|
||||||
│ ├─ main/
|
|
||||||
│ │ ├─ index.ts # 生命周期、窗口、协议
|
|
||||||
│ │ ├─ ipc.ts # 类型化 IPC 路由
|
|
||||||
│ │ ├─ store/ # flows/runs/settings/secrets
|
|
||||||
│ │ ├─ engine/ # compiler/runtime/expression/context
|
|
||||||
│ │ ├─ capabilities/ # control/browser/files/excel/data/desktop/network/office/image
|
|
||||||
│ │ ├─ browser/ # view 管理、CDP、picker、evidence
|
|
||||||
│ │ ├─ bridge/ # PowerShell 客户端、Python 图像客户端
|
|
||||||
│ │ └─ fixture-server.ts
|
|
||||||
│ ├─ preload/index.ts # contextBridge 白名单 API
|
|
||||||
│ └─ renderer/
|
|
||||||
│ ├─ pages/ # Home/Editor/Runs/Settings
|
|
||||||
│ ├─ canvas/ # FlowCanvas/NodeCard/ContainerNode/Palette/edges
|
|
||||||
│ ├─ panels/ # Properties/Variables/RunPanel/Evidence
|
|
||||||
│ ├─ state/
|
|
||||||
│ └─ styles/
|
|
||||||
├─ examples/ # 示例流程 JSON
|
|
||||||
├─ scripts/ # build-catalog / selftest / package
|
|
||||||
├─ docs/
|
|
||||||
└─ release/ # portable 产物（不入 Git）
|
|
||||||
```
|
|
||||||
|
|
||||||
### 4.3 进程与边界
|
|
||||||
|
|
||||||
- **主进程**：唯一拥有文件系统、子进程、浏览器视图、执行引擎；渲染进程不能直接 `require`。
|
|
||||||
- **预加载**：`contextIsolation: true`，只暴露 `flow.* / run.* / catalog.* / browser.* / desktop.* / settings.*` 白名单方法。
|
|
||||||
- **渲染进程**：只做 UI 与状态；运行状态通过 `run:event` 订阅。
|
|
||||||
- **PowerShell 桥**：常驻子进程，行分隔 JSON；超时/崩溃自动重启一次并显式报错。
|
|
||||||
- **Python 图像桥**：按需启动，仅图像查找用；不可用时功能降级。
|
|
||||||
|
|
||||||
### 4.4 运行期离线
|
|
||||||
|
|
||||||
- 所有依赖打包进 asar/资源目录；不加载 CDN 字体/脚本。
|
|
||||||
- 内置浏览器只访问白名单（默认 `127.0.0.1`、`localhost`）。
|
|
||||||
- 夹具站由主进程在 `127.0.0.1` 随机端口启动。
|
|
||||||
- HTTP/邮件属于用户显式配置的外部系统，不是云依赖；演示默认用本地 mock。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 5. 关键契约
|
|
||||||
|
|
||||||
### 5.1 流程定义（`FlowDefinition` v1）
|
|
||||||
|
|
||||||
```jsonc
|
|
||||||
{
|
|
||||||
"schemaVersion": 1,
|
|
||||||
"id": "flow_...",
|
|
||||||
"name": "网页订单录入",
|
|
||||||
"description": "",
|
|
||||||
"variables": [
|
|
||||||
{ "name": "amount", "type": "number", "default": 0, "scope": "flow" }
|
|
||||||
],
|
|
||||||
"nodes": [
|
|
||||||
{
|
|
||||||
"id": "n1",
|
|
||||||
"componentId": "Trigger.Manual",
|
|
||||||
"functionName": "Trigger.Manual",
|
|
||||||
"position": { "x": 120, "y": 80 },
|
|
||||||
"values": {},
|
|
||||||
"options": { "outputVar": "", "timeoutMs": 30000, "skipOnError": false }
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": "n2",
|
|
||||||
"componentId": "logic_control_if_else",
|
|
||||||
"functionName": "logic_control_if_else",
|
|
||||||
"position": { "x": 120, "y": 260 },
|
|
||||||
"values": { "condition": "${amount} > 1000" },
|
|
||||||
"parentId": null
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": "n3",
|
|
||||||
"componentId": "Element_Click_V6",
|
|
||||||
"position": { "x": 60, "y": 380 },
|
|
||||||
"parentId": "n2",
|
|
||||||
"slot": "statement_if",
|
|
||||||
"values": { "uiSelector": "css:#submit" },
|
|
||||||
"options": {
|
|
||||||
"outputVar": "",
|
|
||||||
"delayBeforeMs": 200,
|
|
||||||
"delayAfterMs": 200,
|
|
||||||
"timeoutMs": 15000,
|
|
||||||
"retryCount": 0,
|
|
||||||
"retryIntervalMs": 1000,
|
|
||||||
"skipOnError": false,
|
|
||||||
"logException": true
|
|
||||||
},
|
|
||||||
"enabled": true
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"edges": [
|
|
||||||
{ "id": "e1", "source": "n1", "target": "n2", "sourceHandle": "out", "targetHandle": "in" }
|
|
||||||
],
|
|
||||||
"meta": { "createdAt": "...", "updatedAt": "...", "appVersion": "0.1.0" }
|
|
||||||
}
|
|
||||||
```
|
|
||||||
|
|
||||||
### 5.2 容器语义
|
|
||||||
|
|
||||||
| 节点 | 出口 | 子槽 | 执行 |
|
|
||||||
|---|---|---|---|
|
|
||||||
| `logic_control_if_else` | `true` / `false` | `statement_if` / `statement_else` | 条件为真走真槽链，否则走假槽链，之后汇合到主链下一节点 |
|
|
||||||
| `logic_control_count_for` | `after` | `count_for_fn` | 从 start 到 end 按 step 循环，每轮执行子链 |
|
|
||||||
| `logic_control_array_for_v3` | `after` | `array_for_fn` | 遍历列表/字典，暴露 `item`、`index` |
|
|
||||||
| `logic_control_while` | `after` | `if_for_fn` | 条件为真循环，最大 1000 次 |
|
|
||||||
| `logic_control_try_catch` | `after` | `try_fn` / `except_fn` / `else_fn` | 捕获异常，暴露 `${error}` |
|
|
||||||
|
|
||||||
子槽内节点按"连线优先、无连线按 y 排序"形成链；禁止跨槽连线；容器可嵌套。
|
|
||||||
|
|
||||||
### 5.3 表达式
|
|
||||||
|
|
||||||
- 文本字段支持 `${expr}` 插值；IF/循环条件为纯表达式。
|
|
||||||
- 语法：字面量、变量、成员/下标、算术/比较/逻辑/三元、括号。
|
|
||||||
- 函数白名单：`len, upper, lower, trim, replace, split, join, contains, startsWith, endsWith, matches, number, string, round, abs, min, max, random, now, today, formatDate, json, parseJson`。
|
|
||||||
- **不使用 `eval` / `new Function`**；自研 tokenizer + Pratt parser，错误定位到字符位置。
|
|
||||||
- 变量缺失：默认报 `expression_error`；可在设置中改为空串并告警。
|
|
||||||
|
|
||||||
### 5.4 运行事件
|
|
||||||
|
|
||||||
```ts
|
|
||||||
type RunEvent =
|
|
||||||
| { type: "run.started"; runId: string; flowId: string; startedAt: string }
|
|
||||||
| { type: "node.started"; runId: string; nodeId: string; attempt: number }
|
|
||||||
| { type: "node.log"; runId: string; nodeId: string; level: "info"|"warn"|"error"; message: string }
|
|
||||||
| { type: "node.finished"; runId: string; nodeId: string; status: NodeStatus; output?: unknown; errorCode?: string; durationMs: number; evidence: string[] }
|
|
||||||
| { type: "run.finished"; runId: string; status: "succeeded"|"failed"|"cancelled"; durationMs: number; error?: { nodeId: string; code: string; message: string } }
|
|
||||||
```
|
|
||||||
|
|
||||||
`NodeStatus = idle | running | succeeded | failed | skipped | cancelled`
|
|
||||||
|
|
||||||
### 5.5 错误模型
|
|
||||||
|
|
||||||
封闭 `code` 集合：
|
|
||||||
|
|
||||||
`not_found`、`timeout`、`ambiguous`、`blocked_url`、`capability_not_implemented`、`expression_error`、`validation_error`、`io_error`、`office_error`、`desktop_error`、`network_error`、`cancelled`、`unknown`
|
|
||||||
|
|
||||||
运行结果中的错误对象（对齐厂商 `err_codes.py` 的"原因 + 建议"风格）：
|
|
||||||
|
|
||||||
```ts
|
|
||||||
type RunError = {
|
|
||||||
code: string;
|
|
||||||
reason: string; // 中文原因，如"未找到元素：css:#submit"
|
|
||||||
recommendation?: string; // 中文建议，如"检查选择器或等待条件"
|
|
||||||
location?: { flowId?: string; nodeId?: string; componentId?: string; arg?: string };
|
|
||||||
detail?: string; // 原始错误/堆栈，仅日志
|
|
||||||
};
|
|
||||||
```
|
|
||||||
|
|
||||||
### 5.6 能力注册表
|
|
||||||
|
|
||||||
```ts
|
|
||||||
type Capability = {
|
|
||||||
functionName: string; // 目录 functions[0].function
|
|
||||||
componentIds: string[]; // 允许挂载的组件
|
|
||||||
run(ctx: RunContext, args: Record<string, unknown>, node: FlowNode): Promise<CapabilityResult>;
|
|
||||||
// 可选：字段归一、选择器校验、证据策略
|
|
||||||
};
|
|
||||||
```
|
|
||||||
|
|
||||||
`capabilities/manifest.ts` 汇总所有已注册函数；`scripts/build-catalog.mjs` 生成 `resources/catalog.json`：**1016 全量** + `implemented: true|false` + 归一后的字段/类型/校验元数据。目录不再裁剪，未实现项由运行时守卫拦截。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 6. 画布交互规格
|
|
||||||
|
|
||||||
### 6.1 组件库
|
|
||||||
|
|
||||||
- 搜索（中文名/英文 ID/标签/描述），11 组筛选，状态筛选（全部/可执行/待接入），虚拟滚动。
|
|
||||||
- 每项：图标、名称、ID、字段数、分类色条、状态点（绿=可执行，灰=待接入）。
|
|
||||||
- 拖拽：HTML5 `dragstart` 写入 `componentId`；画布 `drop` 用 `screenToFlowPosition` 定位。待接入项同样可拖拽。
|
|
||||||
- 双击：追加到当前选中节点之后。
|
|
||||||
- 目录为空/无匹配：空态提示。
|
|
||||||
|
|
||||||
### 6.2 节点
|
|
||||||
|
|
||||||
- 卡片：图标 + 名称 + 副标题（关键参数摘要）+ 输出变量胶囊 + 状态点 + 错误徽标。
|
|
||||||
- 待接入节点：整体降饱和 + 右上角「待接入」徽标 + tooltip「当前版本无执行器，运行到此会停止」。
|
|
||||||
- 选中/多选/框选；拖动；吸附网格；复制/粘贴/删除；右键菜单（复制、禁用、删除、查看定义）。
|
|
||||||
- 连接点：左侧输入，右侧输出；IF 两个输出（真/假）；循环一个 `after` 输出 + 容器体。
|
|
||||||
- 连线：贝塞尔/折线；非法连接（自连、重复、跨容器、成环）即时拒绝并提示。
|
|
||||||
|
|
||||||
### 6.3 容器
|
|
||||||
|
|
||||||
- IF/循环以"分组节点"呈现：标题 + 折叠 + 子区域（虚线框）。
|
|
||||||
- 拖入子区域自动设置 `parentId` 与 `slot`；拖出清除。
|
|
||||||
- 容器高度随子节点自适应，可手动调整。
|
|
||||||
- 子槽为空时显示拖拽提示。
|
|
||||||
|
|
||||||
### 6.4 画布操作
|
|
||||||
|
|
||||||
滚轮缩放（0.3–2）、空格/中键平移、`Ctrl+0` 适配、MiniMap、背景点阵、框选、对齐辅助线（可选）。
|
|
||||||
快捷键：`Ctrl+S` 保存、`Ctrl+Z/Y` 撤销重做、`Delete` 删除、`Ctrl+D` 复制、`Ctrl+Enter` 运行、`Esc` 取消选择。
|
|
||||||
|
|
||||||
### 6.5 属性面板
|
|
||||||
|
|
||||||
Tab：属性 / 变量 / 运行。
|
|
||||||
|
|
||||||
属性分区：
|
|
||||||
1. **基本**：节点名称、组件 ID、启用、备注；待接入项显示「当前版本无执行器」。
|
|
||||||
2. **输入**：按目录字段渲染（12 类控件）；必填标记；默认值；占位提示；高级字段折叠；字段类型来自 `vType`。
|
|
||||||
3. **输出**：输出变量名（自动建议）、变量类型（从 `vType` 推断）。
|
|
||||||
4. **失败策略**：超时（默认 30s，上限 7 天）、重试次数（0–100）、重试间隔（1–600s）、失败后跳过、记录异常、前置/后置延时。
|
|
||||||
5. **证据**：是否截图、是否保存输出。
|
|
||||||
|
|
||||||
字段控件映射（把 200+ `displayType` 归并）：
|
|
||||||
|
|
||||||
| displayType 关键词 | 控件 |
|
|
||||||
|---|---|
|
|
||||||
| text-expression / text / coloredText / label | 文本 + 变量插入 |
|
|
||||||
| textArea / multipleTextArea / quillInput | 多行文本 |
|
|
||||||
| number / integerInputNumber / inputNumber / sliderBar / rangeInput | 数字 |
|
|
||||||
| dropDownSelect / defeasibleDropDownSelect / dynamicSelect | 下拉 |
|
|
||||||
| radioGroup / radio / radioLeft / buttonGroup / coloredRadio | 单选 |
|
|
||||||
| checkbox / switchControl / multifileSwitch | 布尔/多选 |
|
|
||||||
| selectFile / multiSelectFileOrDir / saveAsDialog / selectControllerFile | 文件/目录选择 |
|
|
||||||
| comboSelector / selectUi / uiwindowselector / phoneSelector | 元素选择器（浏览器拾取） |
|
|
||||||
| code / jsonEditor / codeInput | 代码/JSON 编辑器 |
|
|
||||||
| encryption / designPassword | 密钥（Electron safeStorage） |
|
|
||||||
| 其它 | 文本兜底 + "原始类型"提示 |
|
|
||||||
|
|
||||||
校验：必填、数字格式、变量名合法、选择器非空、文件路径存在（可关）。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 7. 执行内核
|
|
||||||
|
|
||||||
### 7.1 编译期校验
|
|
||||||
|
|
||||||
1. 组件在目录中；未接入项标记 `pending`，允许保存；运行前提示「N 个待接入节点」，执行到该节点报 `capability_not_implemented` 并停止。
|
|
||||||
2. 必填字段非空（表达式允许 `${}`）；类型与 `vType` 粗校验。
|
|
||||||
3. 失败策略范围：`timeoutMs` 0–604800000、`retryCount` 0–100、`retryIntervalMs` 1000–600000、延时 ≥0。
|
|
||||||
4. 连线合法：无环、无悬空、容器槽匹配。
|
|
||||||
5. 触发器唯一且在起点。
|
|
||||||
6. 变量引用可解析（未定义变量警告/错误可配）。
|
|
||||||
|
|
||||||
失败返回结构化 `validation_error[]`（含 `reason/recommendation/location`），画布定位到节点。
|
|
||||||
|
|
||||||
### 7.2 运行时
|
|
||||||
|
|
||||||
```
|
|
||||||
run(flow):
|
|
||||||
ctx = { vars: defaults, secrets, runId, signal, evidenceDir, logger }
|
|
||||||
plan = compile(flow)
|
|
||||||
emit run.started
|
|
||||||
try:
|
|
||||||
executeChain(plan.entry, ctx)
|
|
||||||
emit run.finished(succeeded)
|
|
||||||
catch AbortError: emit run.finished(cancelled)
|
|
||||||
catch e: emit run.finished(failed, node, code)
|
|
||||||
```
|
|
||||||
|
|
||||||
`executeChain`：顺序执行；遇容器递归；每节点：
|
|
||||||
1. 解析 `values`（表达式插值/类型转换）。
|
|
||||||
2. 应用 `delayBeforeMs`。
|
|
||||||
3. 执行 `capability.run`，总时限 `timeoutMs`；可重试错误按 `retryCount/retryIntervalMs` 重试（校验错误、`capability_not_implemented`、`blocked_url` 不重试）。
|
|
||||||
4. 写入 `outputVar`。
|
|
||||||
5. 应用 `delayAfterMs`；记录日志/证据/耗时。
|
|
||||||
6. 失败时：`skipOnError=true` → 记错误日志、节点状态 `skipped`、继续；否则按错误停止整个运行。
|
|
||||||
7. `logException=true` 时把堆栈写入运行日志（不写入 UI 摘要）。
|
|
||||||
|
|
||||||
### 7.3 取消
|
|
||||||
|
|
||||||
`AbortController` 贯穿：浏览器命令、PowerShell 请求、HTTP、文件循环都检查 `signal`；停止后不再启动新节点。
|
|
||||||
|
|
||||||
### 7.4 证据
|
|
||||||
|
|
||||||
- 浏览器/桌面节点可截图（PNG）。
|
|
||||||
- 每节点输出 JSON 摘要（截断 8KB）。
|
|
||||||
- 运行目录：`userData/runs/<runId>/run.json` + `nodes/<nodeId>.json` + `evidence/*.png` + `run.log`。
|
|
||||||
- UI 只显示相对路径；证据查看器内置。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 8. 运行时实现
|
|
||||||
|
|
||||||
### 8.1 浏览器
|
|
||||||
|
|
||||||
- 主窗口右侧/独立窗口嵌入 `WebContentsView`，地址栏 + 前进后退 + 刷新 + 关闭。
|
|
||||||
- 移植 `actions.js`：`navigate/click/type/select/hover/scroll/wait/extract/screenshot/tabs/runJs`；保留统一结果、错误码、后置条件、`actionId` 去重。
|
|
||||||
- 定位：`testid → aria → text → css → xpath`；导出时 xpath 仅可等价转 css。
|
|
||||||
- 选择器值 v1 存 `{ kind, value, name? }`；拾取器同时生成厂商式候选项（`commonProps + selector[]` 的简化版），P2 再落完整结构。
|
|
||||||
- 拾取器：注入 overlay，`mousemove` 高亮、点击捕获并 `preventDefault`，生成候选定位，回填属性面板；元素库（多元素复用）留到 P2，v1 直接写入节点。
|
|
||||||
- 域名白名单在任何页面动作前校验；默认仅 `127.0.0.1`/`localhost`。
|
|
||||||
- 高影响动作（click/type/下载/上传）运行前弹一次确认（可设置关闭）。
|
|
||||||
|
|
||||||
### 8.2 桌面（PowerShell 桥）
|
|
||||||
|
|
||||||
`resources/desktop-bridge.ps1`，stdin/stdout 行分隔 JSON：
|
|
||||||
|
|
||||||
| 命令 | 说明 |
|
|
||||||
|---|---|
|
|
||||||
| `win.list` / `win.find` / `win.activate` / `win.state` / `win.rect` / `win.close` | EnumWindows / SetForegroundWindow / ShowWindow |
|
|
||||||
| `uia.find` / `uia.invoke` / `uia.setValue` / `uia.getText` | UIAutomationClient（元素优先） |
|
|
||||||
| `input.click` / `input.move` / `input.drag` / `input.scroll` | user32 `SendInput` 绝对坐标 |
|
|
||||||
| `input.type` / `input.key` / `input.hotkey` | `SendInput` Unicode / 虚拟键 |
|
|
||||||
| `clip.get` / `clip.set` | WinForms Clipboard |
|
|
||||||
| `screen.capture` | System.Drawing |
|
|
||||||
| `app.run` | `Start-Process` |
|
|
||||||
| `sys.env` / `sys.cmd` | 环境变量 / 命令执行（超时+输出截断） |
|
|
||||||
|
|
||||||
DPI：
|
|
||||||
- 桥启动时 `SetProcessDpiAwarenessContext(PER_MONITOR_AWARE_V2)`。
|
|
||||||
- 所有坐标使用物理像素；Node 侧用 `screen.getPrimaryDisplay().scaleFactor` 换算。
|
|
||||||
- 125%/150% 必须跑冒烟用例。
|
|
||||||
|
|
||||||
### 8.3 Excel / PDF / Word
|
|
||||||
|
|
||||||
- Excel：`exceljs` 读写、sheet 增删改、区域读写、保存/另存；COM 只做"可见打开/关闭"（可选开关）。
|
|
||||||
- CSV：自研解析（带引号/换行）。
|
|
||||||
- PDF：`pdfjs-dist` 取文本/页数；`pdf-lib` 合并/新建。
|
|
||||||
- Word：PowerShell COM（新建/写入/保存/关闭/读取全文）；无 Word 时显式报 `office_error`。
|
|
||||||
|
|
||||||
### 8.4 图像
|
|
||||||
|
|
||||||
- 截屏：Electron `desktopCapturer` 或 PowerShell。
|
|
||||||
- 模板匹配：优先 Python 3.10 + OpenCV `matchTemplate`（本机已装）；未检测到 Python 时用内置 JS 降级（`pngjs` 降采样 + 归一化互相关）；两者都不可用时，该组件在目录中禁用并提示 `capability_unavailable`，不影响其他功能。
|
|
||||||
- OCR：可选，Windows.Media.Ocr；不达标就标注未交付。
|
|
||||||
|
|
||||||
> Word 组件依赖本机安装 Word（COM）；无 Word 时返回 `office_error`，不影响其他组件。Excel 文件级读写用 `exceljs`，不依赖 Office。
|
|
||||||
|
|
||||||
### 8.5 HTTP / 邮件
|
|
||||||
|
|
||||||
- HTTP：`fetch`（Node 22 内置），支持方法/头/查询/Body/超时/保存响应。
|
|
||||||
- 邮件：`nodemailer` SMTP；收件用 `imapflow`（如时间允许）；演示用本地 mock SMTP。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 9. 数据存储与安全
|
|
||||||
|
|
||||||
| 项 | 方案 |
|
|
||||||
|---|---|
|
|
||||||
| 流程 | `%APPDATA%/rpa-studio/flows/<id>.json`，原子写（临时文件+rename） |
|
|
||||||
| 目录 | `resources/catalog.json`（1016 全量 + 状态 + 字段元数据），启动加载，只读 |
|
|
||||||
| 运行 | `runs/<runId>/`，保留最近 50 次，自动清理 |
|
|
||||||
| 设置 | `settings.json`（白名单、超时、证据、缩放） |
|
|
||||||
| 密钥 | `safeStorage` 加密后存 `secrets.json`，UI 只显示引用名 |
|
|
||||||
| 日志 | 主进程滚动日志 + 运行日志；单文件 5MB 截断 |
|
|
||||||
| 安全 | 渲染进程无 Node；IPC 白名单；表达式无 eval；浏览器协议仅 http/https；文件操作不做沙箱（本地工具定位） |
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 10. 三天排期（逐半天 + 门禁）
|
|
||||||
|
|
||||||
> 今天 10/26 从 10:00 起算；每天按 12～14 小时安排；每半天一个可演示产物。
|
|
||||||
|
|
||||||
### Day 1（10/26）：工程 + 目录 + 画布 + 属性
|
|
||||||
|
|
||||||
| 时间 | 任务 | 产出/门禁 |
|
|
||||||
|---|---|---|
|
|
||||||
| 10:00–11:00 | 脚手架（electron-vite/React/TS）、窗口、三栏布局、令牌、路由 | `npm run dev` 出窗口 |
|
|
||||||
| 11:00–12:30 | 目录管线：解析 1016 → 合并 `componentsNew.json` 的 `vType/validatorRules/tip` → 分组/状态/字段归一 → `catalog.json`；组件库搜索/分组/状态筛选/虚拟滚动 | 左栏 1016 项可搜可拖，灰标正确 |
|
|
||||||
| 13:30–17:00 | 画布：拖入、节点卡、连线、选择/删除/复制、缩放/平移/MiniMap、撤销重做 | 6 节点可连线 |
|
|
||||||
| 17:00–19:30 | 容器：IF/计次/遍历 分组节点、子节点拖入、槽位、尺寸自适应 | 节点可拖进 IF 分支 |
|
|
||||||
| 20:00–22:00 | 属性面板：控件映射、校验、输出变量/类型、失败策略（超时/重试/跳过/延时）、变量面板、表达式插入 | 配置可保存到节点 |
|
|
||||||
| 22:00–23:30 | 保存/加载、示例流程、空态/错误态、Day1 演示 | 重启后流程还原 |
|
|
||||||
| **门禁 G1** | 拖 6 节点 + IF + 循环 → 配参数 → 保存 → 重启还原 → 截图留档 | 不通过不进入 Day2 |
|
|
||||||
|
|
||||||
### Day 2（10/27）：执行内核 + 浏览器 + 桌面
|
|
||||||
|
|
||||||
| 时间 | 任务 | 产出/门禁 |
|
|
||||||
|---|---|---|
|
|
||||||
| 09:00–12:00 | 表达式解析器、编译器（校验/容器/链/待接入守卫）、运行时（上下文/事件/取消/失败策略：超时/重试/跳过/延时）、Vitest | 直线/IF/循环/重试用例通过 |
|
|
||||||
| 13:00–16:30 | 浏览器：WebContentsView、CDP 动作移植、拾取器、证据、本地夹具站 | 打开夹具页→点击→输入→取文本 |
|
|
||||||
| 16:30–19:30 | 桌面桥：PowerShell 常驻、键鼠/窗口/剪贴板/对话框/命令、DPI 换算 | 记事本输入 + 窗口激活 |
|
|
||||||
| 20:00–23:30 | 能力批量：控制（14）+ 文件（14）；运行面板 v1 | 单节点用例批量通过 |
|
|
||||||
| **门禁 G2** | 一条"浏览器 3 步 + 桌面 2 步"流程可运行，事件流与日志正确 | 不通过则 Day3 砍 PDF/Word |
|
|
||||||
|
|
||||||
### Day 3（10/28）：Office/网络 + 联调 + 打包
|
|
||||||
|
|
||||||
| 时间 | 任务 | 产出/门禁 |
|
|
||||||
|---|---|---|
|
|
||||||
| 09:00–11:00 | Excel/CSV（18） | 读写 xlsx、多 sheet、另存 |
|
|
||||||
| 11:00–12:00 | 数据/文本包（28，表驱动） | 字符串/时间/列表/字典/正则/数学/JSON 用例通过 |
|
|
||||||
| 13:00–14:30 | PDF/Word（5）、HTTP/SMTP（4） | PDF 合并/取文本、Word 写入、本地 mock 通过 |
|
|
||||||
| 14:30–15:30 | 图像查找（3，OpenCV） | 模板匹配坐标/置信度达标 |
|
|
||||||
| 15:30–17:30 | 运行面板完善（变量/证据/重试/停止/待接入定位）、E2E 夹具流程、错误态 | 场景 A 跑通 |
|
|
||||||
| 17:30–19:00 | 125%/150% 缩放冒烟、边界修复、性能（200 节点流程） | DPI 用例通过 |
|
|
||||||
| 19:00–21:00 | 打包 portable、干净目录冒烟、自测报告、README/演示脚本 | 双击 exe 可演示 |
|
|
||||||
| 21:00–22:00 | 缓冲/修复/交付整理 | 交付清单齐 |
|
|
||||||
| **门禁 G3** | 干净机器解压→运行→场景 A→失败用例→报告 | 最终验收 |
|
|
||||||
|
|
||||||
### 砍功能顺序（进度落后时）
|
|
||||||
|
|
||||||
1. FTP/数据库（本就不做）
|
|
||||||
2. Word（保留 PDF）
|
|
||||||
3. 邮件收件（保留发信）
|
|
||||||
4. 桌面 UIA（保留坐标键鼠）
|
|
||||||
5. 循环容器（保留 IF）
|
|
||||||
6. 图像/OCR
|
|
||||||
7. 目录组件数（可执行 120 → 80，保浏览器/文件/Excel/数据）
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 11. 自测与验收
|
|
||||||
|
|
||||||
`scripts/selftest.mjs` 以 Electron 主进程模式启动，逐项执行并写 `docs/自测报告.md`。
|
|
||||||
|
|
||||||
| # | 用例 | 期望 |
|
|
||||||
|---|---|---|
|
|
||||||
| T01 | 目录加载/分组/搜索/状态 | 1016 项齐全；可执行/待接入计数与注册表一致 |
|
|
||||||
| T02 | 画布增删/连线/容器 | 数据结构与几何正确 |
|
|
||||||
| T03 | 保存/加载/撤销 | 重启一致 |
|
|
||||||
| T04 | 表达式（算术/字符串/时间/成员） | 结果正确，错误定位 |
|
|
||||||
| T05 | 顺序执行 | 节点按序、变量传递 |
|
|
||||||
| T06 | IF 真/假分支 | 只执行对应分支 |
|
|
||||||
| T07 | 计次循环 | 次数/步长正确，可中断 |
|
|
||||||
| T08 | 遍历列表 | item/index 正确 |
|
|
||||||
| T09 | 失败策略：停止/重试/跳过/超时/延时 | 行为与配置一致；校验错误不重试 |
|
|
||||||
| T10 | 取消运行 | 在途动作中止，状态 cancelled |
|
|
||||||
| T11 | 浏览器导航/点击/输入/取文本 | 真实 DOM 变化，可信输入 |
|
|
||||||
| T12 | 元素拾取器 | 生成候选定位并可回填 |
|
|
||||||
| T13 | 浏览器截图证据 | 文件存在、相对路径 |
|
|
||||||
| T14 | 文件读/写/复制/删除/列表 | 临时目录结果正确 |
|
|
||||||
| T15 | Excel 写/读/另存 | 单元格值正确 |
|
|
||||||
| T16 | CSV 读/写 | 引号/换行正确 |
|
|
||||||
| T17 | PDF 页数/文本/合并 | 结果与样本一致 |
|
|
||||||
| T18 | Word 写入/保存 | 文档存在且含文本 |
|
|
||||||
| T19 | 键盘输入记事本 | 文本一致 |
|
|
||||||
| T20 | 鼠标点击/窗口激活 | 目标窗口前台 |
|
|
||||||
| T21 | 剪贴板读写 | 往返一致 |
|
|
||||||
| T22 | 对话框/消息框 | 返回用户选择 |
|
|
||||||
| T23 | HTTP GET/POST | 本地服务响应正确 |
|
|
||||||
| T24 | 邮件发送（mock SMTP） | 服务器收到报文 |
|
|
||||||
| T25 | 图像查找 | 坐标/置信度达标 |
|
|
||||||
| T26 | 125%/150% 缩放 | 画布不裁切、点击不偏 |
|
|
||||||
| T27 | 断网启动 | 正常启动与运行离线流程 |
|
|
||||||
| T28 | 打包产物启动 | 双击可用，无缺失依赖 |
|
|
||||||
| T29 | 待接入组件拖入并运行 | 节点灰标；运行到该节点报 `capability_not_implemented`，含原因/建议/定位 |
|
|
||||||
| T30 | 目录元数据类型/校验 | `vType` 推断输出类型；必填校验生效 |
|
|
||||||
| T31 | 状态筛选/搜索 | 「全部/可执行/待接入」与关键词组合正确 |
|
|
||||||
|
|
||||||
报告格式：用例、能力、前置、步骤、期望、实际、结论、证据路径。**未通过项必须列出，不得隐藏。**
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 12. 打包与交付
|
|
||||||
|
|
||||||
```
|
|
||||||
release/RPA-Studio-0.1.0-win-x64/
|
|
||||||
RPA Studio.exe
|
|
||||||
resources/app.asar
|
|
||||||
resources/catalog.json
|
|
||||||
resources/fixture/...
|
|
||||||
resources/desktop-bridge.ps1
|
|
||||||
examples/*.json
|
|
||||||
README.md
|
|
||||||
version.json
|
|
||||||
RPA-Studio-0.1.0-win-x64.zip
|
|
||||||
SHA256SUMS.txt
|
|
||||||
docs/自测报告.md
|
|
||||||
```
|
|
||||||
|
|
||||||
- 使用 `@electron/packager`（portable 目录），避免 electron-builder 的签名/工具下载风险。
|
|
||||||
- 打包脚本校验：无 devDependencies、无 node_modules 泄漏、无 `.env`/密钥、资源齐全。
|
|
||||||
- 干净目录冒烟：复制到 `D:\tmp\rpa-smoke`，断网启动，跑示例流程。
|
|
||||||
- 版本清单记录源码提交号、构建时间、Electron 版本、可执行组件数。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 13. 风险与应对
|
|
||||||
|
|
||||||
| 风险 | 概率 | 影响 | 应对 |
|
|
||||||
|---|---|---|---|
|
|
||||||
| 三天做不完 | 高 | 交付缩水 | 按砍功能顺序；G1/G2 门禁强制 |
|
|
||||||
| 桌面 DPI/焦点 | 中 | 演示失败 | 桥声明 DPI、UIA 优先、坐标兜底、双缩放冒烟 |
|
|
||||||
| Excel COM 弹窗/慢 | 中 | 卡流程 | 文件级 exceljs；COM 仅可选 |
|
|
||||||
| 浏览器站点兼容 | 中 | 登录/框架页失败 | 只承诺内置浏览器 + 本地夹具；iframe/影子 DOM 显式报错 |
|
|
||||||
| 未注册组件误入 | 高 | 运行中断 | 全量目录 + 灰标 + 预运行「N 个待接入」提示 + 运行期 `capability_not_implemented`（含替代建议） |
|
|
||||||
| npm/Electron 下载 | 低 | 阻塞 | 源已验证；锁版本；Electron 用本地缓存 |
|
|
||||||
| C 盘空间 | 中 | 构建失败 | 全部在 D 盘；缓存指向 D |
|
|
||||||
| 需求蔓延 | 高 | 延期 | 本文件为基线，新需求进 P2+ 清单 |
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 14. 交付清单
|
|
||||||
|
|
||||||
- [ ] `D:\RPA` 源码仓库（git，提交按 G1/G2/G3 打点）
|
|
||||||
- [ ] `release/RPA-Studio-0.1.0-win-x64.zip`（可双击）
|
|
||||||
- [ ] `docs/自测报告.md`（31 用例 + 可执行组件清单）
|
|
||||||
- [ ] `docs/操作手册.md`（10 分钟上手）
|
|
||||||
- [ ] `examples/` 两条示例流程
|
|
||||||
- [ ] 本实施方案 + 现状分析
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 15. 待确认的默认假设（不回复即按此执行）
|
|
||||||
|
|
||||||
1. 产品暂定名 **RPA Studio**，可一处配置改名。
|
|
||||||
2. 组件库展示 **1016 全量**；未接入项灰标、可拖拽、运行时明确失败；可执行目标 120（保底 90）。
|
|
||||||
3. 演示场景默认"本地夹具页：填表→抓表格→写 Excel→按金额分支→通知/发信"，后续可换成你的系统。
|
|
||||||
4. OCR 为加分项，不阻塞验收；图像查找优先。
|
|
||||||
5. 运行期离线；构建期允许联网装依赖。
|
|
||||||
6. 两份厂商参考资料只做行为参考；不复制代码/二进制/模型/前端资产；三天不做 `.task` 导入/导出。
|
|
||||||
@ -1,355 +0,0 @@
|
|||||||
# 能力接入规划与排期
|
|
||||||
|
|
||||||
> 生成时间：2026-10-28 · 校准时间：2026-11-02 · 收口时间：2026-11-02 · 原始目录 1016 项 · 可编排目录 894 项（运行时注册 906 个 id；122 项不接入已分离备份）
|
|
||||||
|
|
||||||
## 一、明确不接入清单（永久排除）
|
|
||||||
|
|
||||||
组件库显示「不接入」；运行前检查直接提示"该能力已明确不接入"。
|
|
||||||
|
|
||||||
### 门户专用（3 个）——绑定特定门户系统账号
|
|
||||||
|
|
||||||
- Basic_GetSystemAccount_v2 | 获取平台账号(通用)
|
|
||||||
- Basic_GetSystemAccount | 获取系统账号（门户专用）
|
|
||||||
- Basic_GetSystemAccount_v1 | 获取平台账号
|
|
||||||
|
|
||||||
### 厂商专属云服务（17 个）——依赖厂商专属数据/场景服务
|
|
||||||
|
|
||||||
- DataService_DeleteControllerFiles_v1 | 删除文件
|
|
||||||
- DataService_ReportException | 上报异常信息
|
|
||||||
- DataService_ProductionQueue | 将数据存入队列
|
|
||||||
- DataService_UploadControllerFiles_v1 | 上传文件
|
|
||||||
- DataService_ServiceNew | 数据服务(松塔)
|
|
||||||
- DataService_DeleteControllerFiles | 删除控制器文件
|
|
||||||
- DataService_Service | 数据服务
|
|
||||||
- DataService_DownloadControllerFiles | 下载控制器文件
|
|
||||||
- DataService_DownloadControllerFiles_v1 | 下载文件
|
|
||||||
- DataService_ConsumptionQueue | 从队列获取数据
|
|
||||||
- DataService_UploadControllerFiles | 上传文件至控制器
|
|
||||||
- DataService_AiScreenText | 提取屏幕数据(AI)
|
|
||||||
- DataService_AiScreenDate | 选择日期时间(AI)
|
|
||||||
- DataService_AiScreenOperate | 操作屏幕(AI)
|
|
||||||
- Scenario_CreditVerify | 征信报告解析
|
|
||||||
- Scenario_VatInvoice | 增值税发票验真
|
|
||||||
- Scenario_PhysicalExamination | 体检报告解析
|
|
||||||
|
|
||||||
### SAP 专用（1 个）——依赖SAP客户端
|
|
||||||
|
|
||||||
- Element_DoubleClickSap | 双击SAP表格单元格
|
|
||||||
|
|
||||||
### 硬件外设（41 个）——依赖手机设备连接
|
|
||||||
|
|
||||||
- Mobile_ConnectPhone | 连接手机
|
|
||||||
- Mobile_MobileElementAarray | 获取手机相似元素数组
|
|
||||||
- Mobile_Call | 拨打电话
|
|
||||||
- Mobile_MobileSetText_V1 | 手机键盘输入
|
|
||||||
- Mobile_ClickButton | 系统导航键
|
|
||||||
- Mobile_SetInputV1 | 手机输入文本
|
|
||||||
- Mobile_ConnectPhoneV3 | 连接手机
|
|
||||||
- Mobile_GetAttribute | 手机元素属性拾取
|
|
||||||
- Mobile_Exists | 手机元素判断
|
|
||||||
- Mobile_MobileElementList | 获取手机相似元素列表
|
|
||||||
- Mobile_FileTransfer | 手机文件传输
|
|
||||||
- Mobile_GetPhoneInfomation | 获取手机连接详情
|
|
||||||
- Mobile_ClickLocation | 手机屏幕坐标点击
|
|
||||||
- Mobile_SaveFilePhone | 保存文件到手机
|
|
||||||
- Mobile_SetInput | 设置文本｜填写输入框
|
|
||||||
- Mobile_MobileCvClick | 手机智能元素点击
|
|
||||||
- Mobile_TouchSlideV1 | 触摸滑动
|
|
||||||
- Mobile_GetPhoneFiles | 从手机中获取文件
|
|
||||||
- Mobile_OpenMobileApp | 打开手机APP
|
|
||||||
- Mobile_TouchSlide | 触摸滑动
|
|
||||||
- Mobile_GetMobileUiTree | 获取手机UI树
|
|
||||||
- Mobile_GetScreenOrientation | 获取手机屏幕方向
|
|
||||||
- Mobile_GetElement | 获取手机元素对象
|
|
||||||
- Mobile_MobileCvSetText | 智能设置文本｜填写输入框
|
|
||||||
- Mobile_ClosePhone | 关闭连接手机
|
|
||||||
- Mobile_SetInputV2 | 手机输入文本
|
|
||||||
- Mobile_SetScreenOrientation | 设置手机屏幕方向
|
|
||||||
- Mobile_ImageClick | 点击手机图像
|
|
||||||
- Mobile_CloseMobileApp | 关闭手机APP
|
|
||||||
- Mobile_ElementShot | 手机元素截图
|
|
||||||
- Mobile_ScreenShot | 手机截屏
|
|
||||||
- Mobile_GetClipboardText | 获取手机剪切板文本
|
|
||||||
- Mobile_ConnectPhoneV2 | 连接手机
|
|
||||||
- Mobile_GetText | 手机元素文本拾取
|
|
||||||
- Mobile_MobileSetText | 手机键盘输入
|
|
||||||
- Mobile_MobileElementList_V1 | 获取手机相似元素列表
|
|
||||||
- Mobile_ElementClick | 手机元素点击
|
|
||||||
- Mobile_GetChildren | 获取手机子元素
|
|
||||||
- Mobile_SetClipboardText | 设置手机剪切板文本
|
|
||||||
- Mobile_ConnectPhoneV1 | 连接手机
|
|
||||||
- System_GetMobileMessage | 获取手机短信
|
|
||||||
|
|
||||||
### 厂商专属云服务（30 个）——依赖厂商训练模型/打码服务
|
|
||||||
|
|
||||||
- OCR_RotateVerificationCodeV1 | 旋转图片验证码
|
|
||||||
- OCR_PuzzleVerificationCode_v1 | 推理拼图验证码
|
|
||||||
- OCR_ClickVerificationCodeV2 | 点选验证码
|
|
||||||
- OCR_SourceCommonEnglishNumbersCodeV2 | 普通验证码
|
|
||||||
- OCR_SimpleSliderVerificationCode | 滑块验证码（滑动条式）
|
|
||||||
- OCR_SourceMergeCardOCR | 识别卡证文字
|
|
||||||
- OCR_SliderVerificationCodeV5 | 滑动拼图验证码
|
|
||||||
- OCR_SliderVerificationCodeV4 | 滑动拼图验证码
|
|
||||||
- OCR_SourceMergeOtherOCR | 识别其他场景文字
|
|
||||||
- OCR_SliderCode | 滑块验证码
|
|
||||||
- OCR_SourceMergeGeneralOCR | 通用文字识别
|
|
||||||
- OCR_RotateVerificationCodeV2 | 旋转图片验证码
|
|
||||||
- OCR_RotateVerificationCode | 滑块验证码（旋转式）
|
|
||||||
- OCR_ClickVerificationCodeV1 | 点选验证码
|
|
||||||
- OCR_PuzzleVerificationCode | 推理拼图验证码
|
|
||||||
- OCR_SimpleSliderVerificationCodeV2 | 滑动条验证码
|
|
||||||
- OCR_SourceCommonEnglishNumbersCode | 普通验证码
|
|
||||||
- OCR_SourceMergeCarOCR | 识别汽车场景文字
|
|
||||||
- OCR_SliderVerificationCodeV2 | 滑块验证码（拼图样式）
|
|
||||||
- OCR_SliderVerificationCodeV1 | 滑块验证码（拼图样式）
|
|
||||||
- OCR_SliderVerificationCode | 滑块验证码（拼图样式）
|
|
||||||
- OCR_SourceMergeEducationOCR | 识别教育场景文字
|
|
||||||
- OCR_SliderVerificationCodeV3 | 滑动拼图验证码
|
|
||||||
- OCR_ClickVerificationCode | 点选验证码
|
|
||||||
- OCR_SourceCommonEnglishNumbersCodeV1 | 普通验证码
|
|
||||||
- OCR_PuzzleVerificationCode_v2 | 推理拼图验证码
|
|
||||||
- OCR_SourceMergePaperOCR | 识别票据文字
|
|
||||||
- OCR_SimpleSliderVerificationCodeV1 | 滑动条验证码
|
|
||||||
- OCR_SourceMergeGeneralOCR_V1 | 识别通用文字
|
|
||||||
- OCR_SliderVerificationCodePosition | 获取拼图滑块位置
|
|
||||||
|
|
||||||
### 厂商专属云服务（4 个）——依赖厂商离线OCR模型文件
|
|
||||||
|
|
||||||
- OcrOffline_ClickOcrText_V1 | 鼠标点击OCR文本
|
|
||||||
- OcrOffline_MoveToOcrText | 鼠标移动到OCR文本上
|
|
||||||
- OcrOffline_ClickOcrText | 鼠标点击OCR文本
|
|
||||||
- OcrOffline_MoveToOcrText_V1 | 鼠标移动到OCR文本上
|
|
||||||
|
|
||||||
### 厂商专属云服务（6 个）——依赖百度云OCR账号与密钥
|
|
||||||
|
|
||||||
- OCR_BaiDu_CarOCR | 汽车场景类OCR
|
|
||||||
- OCR_BaiDu_OtherOCR | 其他场景类OCR
|
|
||||||
- OCR_BaiDu_EducationOCR | 教育场景类OCR
|
|
||||||
- OCR_BaiDu_GeneralOCR | 通用OCR
|
|
||||||
- OCR_BaiDu_CardOCR | 卡片类OCR
|
|
||||||
- OCR_BaiDu_PaperOCR | 票据类OCR
|
|
||||||
|
|
||||||
### 硬件外设（6 个）——依赖USB通道外设
|
|
||||||
|
|
||||||
- peripherals_UsbCom | 开/关USB通道
|
|
||||||
- peripherals_CloseNetworkUsbCom | 关闭NetworkUSB通道
|
|
||||||
- peripherals_CloseUsbCom | 关闭USB通道
|
|
||||||
- peripherals_NetworkUsbCom | 开/关NetworkUSB通道
|
|
||||||
- peripherals_OpenNetworkUsbCom | 开启NetworkUSB通道
|
|
||||||
- peripherals_OpenUsbCom | 开启USB通道
|
|
||||||
|
|
||||||
### 硬件外设（1 个）——依赖银行安全控件键盘
|
|
||||||
|
|
||||||
- SafeControlInput_KeyInput | 安全控件文本输入
|
|
||||||
|
|
||||||
### 硬件外设（4 个）——依赖机械臂设备
|
|
||||||
|
|
||||||
- System_ResetMechanicalArm | 复位机械臂
|
|
||||||
- System_MechanicalArmClick | 机械臂点击
|
|
||||||
- System_ConnectingMechanicalArm | 连接机械臂
|
|
||||||
- System_CloseMechanicalArm | 断开机械臂
|
|
||||||
|
|
||||||
### 硬件外设（2 个）——依赖U盾设备
|
|
||||||
|
|
||||||
- System_ConnectingUshield | 连接U盾
|
|
||||||
- System_CloseUshield | 断开U盾
|
|
||||||
|
|
||||||
### 语义已被覆盖（1 个）——下载能力已覆盖下载场景
|
|
||||||
|
|
||||||
- WebBrowser_DownloadDialog | 处理下载对话框
|
|
||||||
|
|
||||||
**小计：116 个 id**（2026-10-30 校准：原 128 项中 12 项已接入，移至下方清单）
|
|
||||||
|
|
||||||
### 已接入（原排除项，2026-10-30 校准移出）
|
|
||||||
|
|
||||||
通过设置页配置的 OpenAI 兼容 AI 服务接入（`src/main/capabilities/ai-caps.ts`）：
|
|
||||||
|
|
||||||
- DataService_AIGenTxt | AI生成文本
|
|
||||||
- DataService_LargeModel | 大模型
|
|
||||||
- DataService_ZBrain | 自定义AI模型
|
|
||||||
- DataService_AgentCall | 调用智能体
|
|
||||||
- DataService_ChatBot | chatbot对话机器人
|
|
||||||
- DataService_KeyWord | 关键词抽取
|
|
||||||
- DataService_Correct | 文本纠错
|
|
||||||
- DataService_Review | 文本审核
|
|
||||||
- Scenario_TextComparison | 文档比对
|
|
||||||
|
|
||||||
通过本地离线 OCR 模型接入（`src/main/capabilities/ocr-caps.ts`）：
|
|
||||||
|
|
||||||
- OcrOffline_GetOcrTextNew | 图像OCR识别
|
|
||||||
- OcrOffline_GetOcrTable | 获取表格数据（OCR）
|
|
||||||
- OcrOffline_GetOcrTextPosition | 图像OCR识别（含坐标）
|
|
||||||
|
|
||||||
## 二、暂缓池
|
|
||||||
|
|
||||||
### 已完成（超出原排期，2026-11-02 校准）
|
|
||||||
|
|
||||||
- [P1] 人机交互对话框 17/17：输入/文件/消息/自定义表单对话框（`src/main/capabilities/human-dialog.ts`）
|
|
||||||
- [P2] Windows 系统 12/12：凭据/远程桌面/屏保/输入法（`src/main/capabilities/windows-system.ts`）
|
|
||||||
- [P2] 图表数据读取 2/2：Element_GetLineBarChartData、Element_GetPieChartData（`src/main/capabilities/web-batch2.ts`）
|
|
||||||
- [P2] Excel 高阶 38/38：单元格格式、区域选择、行列显隐、尾部空白单元格、列标识、表格样式、Load/Close（`src/main/capabilities/excel-common.ts`）；组合、图片、加密、移动、合并、透视表、宏、PDF 导出、Interop、切片器、循环（`src/main/capabilities/excel-com.ts`）
|
|
||||||
- [P3] 待评估池移出 20 项：FTP 10 项（`src/main/capabilities/ftp.ts`）、NLP 9 项（AI 服务 `src/main/capabilities/ai-caps.ts`）、File_OpenFile
|
|
||||||
- 原排除清单移出 12 项：见第一节「已接入」
|
|
||||||
|
|
||||||
以下为剩余暂缓项：
|
|
||||||
|
|
||||||
### 2026-11-02 完成批次（64 个）
|
|
||||||
|
|
||||||
- 桌面 Ground 补全 13/13：12 个 `*Ground` 变体 + `Element_DesktopChildren`（`src/main/capabilities/desktop-uia.ts`）
|
|
||||||
- Word 选区/光标/表格 COM 11/11（`src/main/capabilities/word-extended.ts`）
|
|
||||||
- PDF 加密/提取图片/转图片/表格 4/4（`src/main/capabilities/pdf.ts`）
|
|
||||||
- 邮件查找/回复/Outlook 读取 9/9（`src/main/capabilities/message.ts`）
|
|
||||||
- 键盘模拟人工开关 2/2 与 `Basic_Dodecryption` 1/1（`src/main/capabilities/desktop.ts`、`basic-encryption.ts`）
|
|
||||||
- Excel COM 专属 24/24（`src/main/capabilities/excel-com.ts`）
|
|
||||||
|
|
||||||
### [P3] 待评估（80 个）
|
|
||||||
|
|
||||||
- child_modules_v1 | 调用子流程
|
|
||||||
- concurrent_child_process_v1 | 并发调用子流程
|
|
||||||
- Database_BatchSQLExecute | 批量执行SQL语句
|
|
||||||
- Database_DBConnect | 连接数据库
|
|
||||||
- Database_SingleSQLQuery | 执行单SQL查询
|
|
||||||
- Database_BatchInsertExecute | SQL批量插入数据
|
|
||||||
- Database_AllSQLQuery_V1 | 执行全SQL查询
|
|
||||||
- Database_CloseDBConnect | 关闭连接
|
|
||||||
- Database_SQLExecute | 执行SQL语句
|
|
||||||
- Database_AllSQLQuery | 执行全SQL查询
|
|
||||||
- File_UploadBusinessResults_v1 | 上报办理结果
|
|
||||||
- File_StartBusiness | 上报办理业务
|
|
||||||
- File_UploadBusinessResults | 上报办理结果(门户专用)
|
|
||||||
- File_Collectupload | 上报采集数据
|
|
||||||
- File_UploadFolder | 结果打包上传
|
|
||||||
- FileTypeConversion_Office2pdf | OFFICE文档转PDF
|
|
||||||
- FileTypeConversion_Pdf2image2 | PDF转图片
|
|
||||||
- GoogleTable_GetAllData | 获取列信息(Google Sheets)
|
|
||||||
- GoogleTable_GetAllSheetsName | 获取Sheet名(Google Sheets)
|
|
||||||
- GoogleTable_WriteToSheetRegionColumns | 写入列(Google Sheets)
|
|
||||||
- GoogleTable_WriteToSheetRegionRows | 写入行(Google Sheets)
|
|
||||||
- GoogleTable_WriteToSheetCell | 写入单元格(Google Sheets)
|
|
||||||
- GoogleTable_WriteToSheetCellFormula | 写入单元格公式(Google Sheets)
|
|
||||||
- GoogleTable_GetSheetRowCount | 获取行数(Google Sheets)
|
|
||||||
- GoogleTable_DownloadSheets | 导出Sheet(Google Sheets)
|
|
||||||
- GoogleTable_CopyPasteSheet | 复制粘贴(Google Sheets)
|
|
||||||
- GoogleTable_GetColumnsByTableTitle | 按表头读取列(Google Sheets)
|
|
||||||
- GoogleTable_ChangeSheet | 激活Sheet(Google Sheets)
|
|
||||||
- GoogleTable_RenameSheet | 重命名Sheet(Google Sheets)
|
|
||||||
- GoogleTable_WriteToSheetRegionregion | 写入区域(Google Sheets)
|
|
||||||
- Image_Move_V2 | 鼠标移动到图像上
|
|
||||||
- Image_Base64Decode | 图片base64编码转二进制
|
|
||||||
- Image_Base64Encode | 图片转base64编码
|
|
||||||
- Image_Wait_V1 | 等待图像
|
|
||||||
- Image_Exists | 判断图像
|
|
||||||
- Image_Location | 图像位置
|
|
||||||
- Image_Location_V1 | 获取图像位置
|
|
||||||
- Image_Exists_V1 | 判断图像
|
|
||||||
- Image_CropImg | 截取图像
|
|
||||||
- Image_RelativePosition | 对比图像相对位置
|
|
||||||
- Image_Wait | 等待图像
|
|
||||||
- Image_Move | 移动到图像
|
|
||||||
- Image_Move_V1 | 移动到图像
|
|
||||||
- Mark_Mark | 图片打标
|
|
||||||
- NLP_XunFei_MachineTranslation | 机器翻译
|
|
||||||
- NLP_XunFei_FeelingAnalysis | 第三方情感分析模型
|
|
||||||
- NLP_XunFei_KeywordExtraction | 关键字提取
|
|
||||||
- OCR_MergeCardOCR | 卡证文字识别
|
|
||||||
- OCR_CalculationCode | 算术验证码
|
|
||||||
- OCR_IdCardV2 | OCR身份证
|
|
||||||
- OCR_BusinessCardV2 | OCR名片
|
|
||||||
- OCR_VehicleInvoiceV2 | OCR机动车发票
|
|
||||||
- OCR_MergeOtherOCR | 其他场景文字识别
|
|
||||||
- OCR_BusinessLicenseV3 | OCR营业执照(自研)
|
|
||||||
- OCR_PassportV2 | OCR护照
|
|
||||||
- OCR_MergeGeneralOCR | 通用文字识别
|
|
||||||
- OCR_KeyValueIdentification | 识别键值对结构
|
|
||||||
- OCR_AmountIdentification | 识别价格金额
|
|
||||||
- OCR_GeneralTextV2 | OCR高精度文本
|
|
||||||
- OCR_VatInvoiceV2 | OCR增值税发票
|
|
||||||
- OCR_DrivingLicenseV2 | OCR行驶证
|
|
||||||
- OCR_AccountPageV2 | OCR户口页
|
|
||||||
- OCR_PlateLicenseV2 | OCR车牌
|
|
||||||
- OCR_BankCardV2 | OCR银行卡
|
|
||||||
- OCR_BankCardV3 | OCR银行卡(自研)
|
|
||||||
- OCR_IdCardV3 | OCR身份证(自研)
|
|
||||||
- OCR_VatInvoiceV3 | OCR增值税发票(自研)
|
|
||||||
- OCR_MergePaperOCR | 票据文字识别
|
|
||||||
- OCR_DriverLicenseV2 | OCR驾驶证
|
|
||||||
- OCR_RealEstateCertV2 | OCR不动产权证
|
|
||||||
- OCR_TrainTicketV2 | OCR火车票
|
|
||||||
- OCR_TaxiInvoiceV2 | OCR出租车发票
|
|
||||||
- OCR_OfficialSealV2 | OCR公章
|
|
||||||
- OCR_MergeCarOCR | 汽车场景文字识别
|
|
||||||
- OCR_MergeEducationOCR | 教育场景文字识别
|
|
||||||
- OCR_HouseCertV2 | OCR房产证
|
|
||||||
- OCR_CommonEnglishNumbersCode | 普通验证码
|
|
||||||
- OCR_BusinessLicenseV2 | OCR营业执照
|
|
||||||
- OCR_VinV2 | OCR车辆vin码
|
|
||||||
- Element_exception_monitor_v2 | 异常监控
|
|
||||||
|
|
||||||
### [P2] 视觉定位与 OCR 读屏（5 个）
|
|
||||||
|
|
||||||
- logic_control_if_ai_vision | 判断屏幕图像(AI)
|
|
||||||
- CV_GetText | 获取文本
|
|
||||||
- CV_SetText | 文本输入
|
|
||||||
- CV_MouseHover | 移动到元素上
|
|
||||||
- CV_MouseClick | 元素点击
|
|
||||||
|
|
||||||
### [P2] 邮件收件：剩余连接/列表/操作/Exchange（19 个；查找、回复、Outlook 读取 9 个已完成）
|
|
||||||
|
|
||||||
- Mail_UnmarkSeen | 标为未读
|
|
||||||
- Mail_DoReplyMail_v1 | 回复邮件(Outlook)
|
|
||||||
- Mail_RecvConnect | 连接邮箱
|
|
||||||
- Mail_RecvMailGet | 取第几封邮件
|
|
||||||
- Mail_ExOperateMail | 操作邮件
|
|
||||||
- Mail_RecvGetList | 邮件筛选
|
|
||||||
- Mail_DoMoveMail | 移动邮件
|
|
||||||
- Mail_UnionConnect | 连接邮箱
|
|
||||||
- Mail_ExConnect | 连接Exchange邮箱
|
|
||||||
- Mail_RecvClose | 关闭连接
|
|
||||||
- Mail_DoSendMail | 发送邮件
|
|
||||||
- Mail_RecvCount | 取收件箱邮件数
|
|
||||||
- Mail_ExSearchMail | 查找邮件
|
|
||||||
- Mail_ExSendMail | 发送邮件
|
|
||||||
- Mail_OperateMail | 操作邮件
|
|
||||||
- Mail_MarkSeen | 标为已读
|
|
||||||
- Mail_DoMoveMail_v1 | 操作邮件(Outlook)
|
|
||||||
- Mail_DoReplyMail | 回复邮件
|
|
||||||
- Mail_DoSendMail_v1 | 发送邮件(Outlook)
|
|
||||||
|
|
||||||
## 三、接入排期总览
|
|
||||||
|
|
||||||
| 阶段 | 内容 | 状态 |
|
|
||||||
|---|---|---|
|
|
||||||
| P0 | 网页核心 170、桌面 Ground 核心 5、网页批二 15 id、网页批三 16 id | 已完成 2026-10-28 |
|
|
||||||
| P1 | 人机交互对话框 17、Time 家族 24 | 已完成 2026-10-30 校准 |
|
|
||||||
| P1 | 文件上传验证 | 下一迭代 |
|
|
||||||
| P2 | 最后一波 98：子流程、数据库、转换、Google Sheets、图像、CV、NLP、OCR、邮件剩余 | 已完成 2026-11-02 |
|
|
||||||
| 备份 | 门户上报、图片打标、移动硬件、厂商云服务、SAP 等 122 项 | 已分离 `resources/excluded.json` |
|
|
||||||
| 永久排除 | 明确不接入清单 116 项（第一节） | 不排期 |
|
|
||||||
|
|
||||||
## 四、落地机制
|
|
||||||
|
|
||||||
- 本文档为能力接入的唯一规划来源；新增能力须先在此登记阶段
|
|
||||||
- 2026-11-02 校准：数字以运行时注册表为准（808 个 id，目录可执行 796 / 1016）；2026-10-30 校准后原排除/暂缓中已实现的 78 项已移入「已接入 / 已完成」
|
|
||||||
- 本批次新增依赖：`@cantoo/pdf-lib`（PDF 加密）、`@napi-rs/canvas`（PDF 渲染）、`imapflow`/`mailparser`（IMAP 收件）、`sm-crypto`（SM4 密文变量）
|
|
||||||
- 不接入能力备份：[04-未接入名单](04-未接入名单.md)
|
|
||||||
- 下一步：将第一节清单固化为 resources/excluded.json，组件库显示「不接入」灰标
|
|
||||||
|
|
||||||
## 六、桌面拾取与定位——原厂实现解读与我们的增强项（2026-10-30）
|
|
||||||
|
|
||||||
### 原厂实在智能的实现（源码解读）
|
|
||||||
|
|
||||||
- 拾取（ui_selector_window.py）：全屏半透明覆盖窗 + 高亮窗贴**窗格级**元素 + 左键确认；输出 uiSelector = { window: [{class,type,name} 链], shot: 自动截图 }——**拾取时自动截取目标窗口图片存档**
|
|
||||||
- 执行定位（Element/py/scope/native.py）：路径链逐层走 UIA 树——每层匹配 type/class/name **通配符** + 同名兄弟 **index 序号**；窗口锚用标题通配（EnumWindows）
|
|
||||||
- 桌面点击执行：**窗口定位 + 图像/坐标模式**（原厂 Image/CV 能力家族庞大的原因）
|
|
||||||
|
|
||||||
### 我们当前方案对比
|
|
||||||
|
|
||||||
- 定位：UIA 属性选择器（name/id 精确匹配，单层）——精度高于原厂通配符，但**缺路径链/通配/序号 fallback**
|
|
||||||
- 拾取：v2 两阶段（悬停/微调）+ PageUp/PageDown 层级切换 + 最小化应用——已实现
|
|
||||||
|
|
||||||
### 登记的增强项（后续迭代）
|
|
||||||
|
|
||||||
1. 链式查找：拾取器已输出元素链（layers），执行端支持逐层匹配（原厂模式）——解决 name 重复场景
|
|
||||||
2. name 通配符匹配与同名序号 index
|
|
||||||
3. 拾取确认时自动截取目标窗口图片存档（调试回看）
|
|
||||||
4. WebView2 深层 DOM 控件的 UIA 暴露深度调优
|
|
||||||
@ -1,186 +0,0 @@
|
|||||||
# 04-外接浏览器支持改动方案（Edge / Chrome）
|
|
||||||
|
|
||||||
- **编写时间**：2026-10-30
|
|
||||||
- **编写人**：刘爱家
|
|
||||||
- **关联文档**：01-现状分析与可行性 / 02-实施方案 / 03-能力接入规划与排期
|
|
||||||
- **目标**：让「打开网页」及全部网页自动化组件支持在客户本机的 Edge / Chrome 浏览器中执行，不再强制使用内置运行浏览器；内置浏览器保留为默认兜底。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 一、现状分析（代码级）
|
|
||||||
|
|
||||||
### 1.1 现有架构
|
|
||||||
|
|
||||||
```
|
|
||||||
网页组件（web.ts / web-batch2.ts / web-crawl.ts，169 项目录项）
|
|
||||||
│ BrowserLike 接口（engine/types.ts，33 个方法）
|
|
||||||
▼
|
|
||||||
BrowserSession（browser/session.ts，1056 行，单例）
|
|
||||||
│ this.cdp(method, params)
|
|
||||||
▼
|
|
||||||
win.webContents.debugger（Electron 内置窗口「RPA 运行浏览器」）
|
|
||||||
```
|
|
||||||
|
|
||||||
- **会话模型**：`BrowserSession.create()` 单例复用一个 `BrowserWindow`，全局变量 `__rpaBrowserWindow` 持有；单窗口单 Tab 模型（`tab_unavailable` 错误即来自此）。
|
|
||||||
- **CDP 使用现状**：全部经 `webContents.debugger`（协议版本 1.3），使用的域：
|
|
||||||
- `DOM.getDocument / DOM.querySelector / DOM.setFileInputFiles`
|
|
||||||
- `Input.dispatchMouseEvent / Input.dispatchKeyEvent / Input.insertText`
|
|
||||||
- `Runtime.evaluate`（仅 runJs 一处）
|
|
||||||
- `Page.enable / Page.captureScreenshot / Page.handleJavaScriptDialog`
|
|
||||||
- `Network.enable / Network.getResponseBody`（网页监听）
|
|
||||||
- **全部是标准 CDP 域，Edge / Chrome（同为 Chromium）原生支持，命令层零改动。**
|
|
||||||
- **目录字段已预留**：`WebBrowser_Create / V2 / V3` 均有 `type`（浏览器类型，默认 chrome）、`isRemote`（是否远程）、`ipAddress`、`port`（默认 61619）、`arguments`（携带参数）、`openNewTab` 字段——**但实现不读取**，无论填什么一律打开内置窗口。
|
|
||||||
|
|
||||||
### 1.2 关键约束
|
|
||||||
|
|
||||||
| 约束 | 说明 |
|
|
||||||
|---|---|
|
|
||||||
| Electron 31 主进程 = Node 20.x | 无稳定原生 WebSocket 客户端，连接外部调试端口需引入 `ws` |
|
|
||||||
| 用户已开着的浏览器 | 未带调试端口启动的实例无法连接（Chromium 安全限制），必须带参重启 |
|
|
||||||
| 内置窗口独有 API | `webContents.debugger` 仅 Electron 可用；`Page.captureScreenshot` 外部浏览器同样可用（证据截图无障碍） |
|
|
||||||
| 元素拾取器 | 现拾取链路绑定内置窗口，外部浏览器需改走 CDP DOM 快照 |
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 二、总体设计
|
|
||||||
|
|
||||||
**核心思路：传输层抽象，一次替换，上层不动。**
|
|
||||||
|
|
||||||
```
|
|
||||||
BrowserLike（接口不变）
|
|
||||||
▼
|
|
||||||
BrowserSession（cdp() 委托给 transport，其余逻辑不变）
|
|
||||||
▼
|
|
||||||
CdpTransport 接口（新增）
|
|
||||||
├── EmbeddedTransport —— 现有 webContents.debugger 封装（内置浏览器，默认）
|
|
||||||
└── ExternalTransport —— WebSocket 直连外部浏览器调试端口（新增，依赖 ws）
|
|
||||||
```
|
|
||||||
|
|
||||||
- `BrowserLike` 接口 33 个方法、上层 169 个网页组件**全部零改动**。
|
|
||||||
- 内置浏览器保留：`type` 未填或填内置类型时走原路径，行为与现在完全一致（回归风险隔离）。
|
|
||||||
|
|
||||||
### 浏览器类型枚举约定
|
|
||||||
|
|
||||||
| type 值 | 行为 |
|
|
||||||
|---|---|
|
|
||||||
| `chrome` | 探测本机 Chrome 路径 → 带调试端口启动 → CDP 接管 |
|
|
||||||
| `edge` | 探测本机 Edge 路径 → 同上 |
|
|
||||||
| `chrome_remote` / `edge_remote`（或 isRemote=1） | 不启动进程，直接连 `ipAddress:port` 上已监听调试端口的实例 |
|
|
||||||
| `zexplorer` / 缺省 | 内置运行浏览器（现状行为，兜底） |
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 三、分阶段实施
|
|
||||||
|
|
||||||
### 阶段一：传输层抽象 + 外部浏览器连接（核心，约 2~3 天）
|
|
||||||
|
|
||||||
**新增 `src/main/browser/transport.ts`**
|
|
||||||
|
|
||||||
```ts
|
|
||||||
export interface CdpTransport {
|
|
||||||
send<T>(method: string, params?: Record<string, unknown>): Promise<T>;
|
|
||||||
on(event: string, handler: (params: unknown) => void): void; // Page.loadEventFired 等
|
|
||||||
close(): Promise<void>;
|
|
||||||
kind: "embedded" | "external";
|
|
||||||
}
|
|
||||||
```
|
|
||||||
|
|
||||||
- `EmbeddedTransport`：包装现有 `webContents.debugger` 的 `send/on`（`session.ts` 现有 `cdp()` 逻辑原样迁入）。
|
|
||||||
- `ExternalTransport`：基于 `ws` 包，连接 `http://ip:port` 的调试端点：
|
|
||||||
1. `GET /json/list` 枚举页面级 target，取 `webSocketDebuggerUrl`（或 `PUT /json/new?url=` 开新 Tab）
|
|
||||||
2. 建立WebSocket，消息按 CDP 格式封包（`{id, method, params}` / 响应 `{id, result|error}` / 事件 `{method, params}`），promise map 按 id 配对
|
|
||||||
3. 断线检测（ws close 事件）→ 抛 `browser_disconnected`，带「请带调试端口重启浏览器」提示
|
|
||||||
|
|
||||||
**新增 `src/main/browser/external.ts`（外部浏览器进程管理）**
|
|
||||||
|
|
||||||
- 路径探测（按优先级）：
|
|
||||||
- Chrome：注册表 `HKLM\SOFTWARE\Microsoft\Windows\CurrentVersion\App Paths\chrome.exe` → `C:\Program Files\Google\Chrome\Application\chrome.exe` → `C:\Program Files (x86)\...`
|
|
||||||
- Edge：`HKLM\...\App Paths\msedge.exe` → `C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe`（Win10/11 必装，探测成功率 100%）
|
|
||||||
- 启动：`child_process.spawn(browserPath, [--remote-debugging-port=<port>, --user-data-dir=<独立目录>, url, ...args])`
|
|
||||||
- **必须带独立 `--user-data-dir`**：否则端口参数会被用户已开的实例吞掉（连不上且无报错的头号坑）
|
|
||||||
- 端口管理：默认取 `port` 字段（61619），被占用时自增重试；启动后轮询 `GET /json/version`（超时 15s）确认就绪
|
|
||||||
- 进程生命周期：记录 child process 引用；流程 `WebBrowser_Close` 时可选关闭（目录可加「执行后是否关闭浏览器」字段）
|
|
||||||
|
|
||||||
**改造 `src/main/browser/session.ts`**
|
|
||||||
|
|
||||||
- `BrowserSession` 构造函数改为接收 `CdpTransport`；`cdp()` 方法改为一行委托 `this.transport.send()`
|
|
||||||
- 单例键从 `__rpaBrowserWindow` 扩展为「按 (type, user-data/port) 维度」的会话缓存，支持同流程混合使用内置 + 外部
|
|
||||||
- `close()`：embedded 关窗口（现状逻辑）；external 断开 ws，按配置决定是否杀浏览器进程
|
|
||||||
|
|
||||||
### 阶段二：「打开网页」组件参数生效（约 1 天）
|
|
||||||
|
|
||||||
**改造 `src/main/capabilities/browser.ts` 的 `WebBrowser_Create / V2 / V3 / CreateBackground`：**
|
|
||||||
|
|
||||||
```
|
|
||||||
type + isRemote + ipAddress + port + arguments ──→ BrowserSessionFactory
|
|
||||||
├─ type ∈ {chrome, edge} 且 isRemote=0 → external.ts 启动并连接
|
|
||||||
├─ isRemote=1 → 直连 ipAddress:port
|
|
||||||
└─ 其余 → 内置浏览器（现状）
|
|
||||||
```
|
|
||||||
|
|
||||||
- `waitingload`（等待页面加载完成）：external 模式下监听 `Page.loadEventFired` 实现，语义与内置一致
|
|
||||||
- `arguments`（携带参数）：透传给浏览器启动命令行
|
|
||||||
- 日志明确输出实际使用的浏览器（如「已使用 Edge (127.0.0.1:9222) 打开 https://...」），便于客户排查
|
|
||||||
|
|
||||||
### 阶段三：多标签页管理（约 2~3 天）
|
|
||||||
|
|
||||||
现状单 Tab 模型在外部浏览器不成立，需引入 `Target` 域：
|
|
||||||
|
|
||||||
- `Target.getTargets` / `Target.attachToTarget`（flatten 模式）/ `Target.closeTarget`
|
|
||||||
- 落地组件：`WebBrowser_GetTAB_V1`（按标题/URL 匹配 Tab，type 字段终于生效）、`WebBrowser_Switch`（切换当前操作的 Tab）、`CreateV3` 的 `openNewTab`
|
|
||||||
- 实现方式：ExternalTransport 按 targetId 维护多个 ws 会话，BrowserSession 增加 `switchTab(targetId)`；内置浏览器对应到多个 `webContents`
|
|
||||||
|
|
||||||
### 阶段四：拾取器与高级组件适配（约 2~3 天）
|
|
||||||
|
|
||||||
- 元素拾取：外部浏览器场景拾取请求走 CDP `DOMSnapshot.captureSnapshot` / `DOM.getDocument` 生成候选元素树（内置窗口继续走现有拾取链路）
|
|
||||||
- 逐组件验证（阶段一~三完成后自然可用，重点回归）：`WebBrowser_GetCookieNew`、`WebBrowser_StartWeblistening / GetWeblistening`（Network 域，外部同样可用）、`WebBrowser_BatchDataCrawlNew`（browserType 字段接阶段二同一工厂）、`WebBrowser_SaveAs`（`DOM.setFileInputFiles` + `Page.handleJavaScriptDialog`）
|
|
||||||
- `Element_*` 系列 100+ 组件无需改动，靠接口层自动生效
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 四、依赖与风险
|
|
||||||
|
|
||||||
### 新增依赖
|
|
||||||
|
|
||||||
| 包 | 大小 | 用途 | 风险 |
|
|
||||||
|---|---|---|---|
|
|
||||||
| `ws` | ~50KB 纯 JS | 连接外部浏览器调试端口（Node 20 无原生 WebSocket） | 无原生编译，供应链风险低 |
|
|
||||||
|
|
||||||
**客户机器零安装**：Edge/Chrome 原生支持 CDP，不装任何扩展插件。
|
|
||||||
|
|
||||||
### 风险与对策
|
|
||||||
|
|
||||||
| 风险 | 对策 |
|
|
||||||
|---|---|
|
|
||||||
| 用户已开浏览器实例吞掉端口参数（连不上且无提示） | 必带独立 `--user-data-dir` 启动；文档注明该限制 |
|
|
||||||
| 调试端口与客户其他软件冲突 | 端口自增探测 + `/json/version` 就绪轮询 |
|
|
||||||
| 外部浏览器被客户手动关闭，流程中途断连 | ws close 事件 → 明确报错「浏览器已关闭」，错误路由可接重开逻辑 |
|
|
||||||
| 页面弹窗阻塞 CDP | `Page.handleJavaScriptDialog` 与内置行为一致，现有组件已覆盖 |
|
|
||||||
| 混用内置/外部时上下文串流 | 会话缓存按 (type, port) 隔离；`RunContext.browser` 生命周期不变 |
|
|
||||||
| URL 安全 | 沿用现有 `assertUrl`（仅 http/https）白名单逻辑，外部连接的 ip:port 另做私网地址校验 |
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 五、工作量与排期估算
|
|
||||||
|
|
||||||
| 阶段 | 内容 | 预估 |
|
|
||||||
|---|---|---|
|
|
||||||
| 一 | 传输层抽象 + 外部连接 + 进程管理 | 2~3 天 |
|
|
||||||
| 二 | 打开网页组件参数生效 | 1 天 |
|
|
||||||
| 三 | 多标签 Target 域 | 2~3 天 |
|
|
||||||
| 四 | 拾取器适配 + 高级组件回归 | 2~3 天 |
|
|
||||||
| 测试 | 与同事网页自动化测试联动，双浏览器（Edge/Chrome）× 关键链路 | 1~2 天 |
|
|
||||||
| **合计** | | **约 1.5~2 周** |
|
|
||||||
|
|
||||||
阶段一+二完成后即可向客户交付「用 Edge/Chrome 打开并执行基础网页自动化」；阶段三、四为完整体验补齐，可穿插进行。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 六、测试计划（验收标准）
|
|
||||||
|
|
||||||
1. **连接**：Edge / Chrome 各验证——全新启动、已装非默认路径（注册表探测）、isRemote 远程连接、端口占用自增
|
|
||||||
2. **基础链路**：打开网页 → 点击 → 输入 → 取文本 → 截图 → 关闭，双浏览器全通过
|
|
||||||
3. **多标签**：开 3 个 Tab → GetTAB 按标题匹配 → 切换 → 各 Tab 独立操作 → closeTarget
|
|
||||||
4. **兜底**：type 缺省/填 zexplorer 时行为与现版本完全一致（内置浏览器回归）
|
|
||||||
5. **异常**：浏览器中途被手动关、URL 非法、调试端口不通、页面弹窗
|
|
||||||
6. **数据采集/监听**：BatchDataCrawlNew、StartWeblistening 在外部浏览器下与内置结果一致
|
|
||||||
141
docs/04-未接入名单.md
141
docs/04-未接入名单.md
@ -1,141 +0,0 @@
|
|||||||
# 不接入能力备份
|
|
||||||
|
|
||||||
> 快照时间：2026-11-02 · 该清单已从可编排目录分离，仅作能力溯源备份。
|
|
||||||
|
|
||||||
## 汇总
|
|
||||||
|
|
||||||
| 状态 | 数量 |
|
|
||||||
|---|---:|
|
|
||||||
| 原始目录总数 | 1016 |
|
|
||||||
| 当前可编排目录 | 894 |
|
|
||||||
| 不接入备份 | 122 |
|
|
||||||
| 运行时注册 id | 906 |
|
|
||||||
|
|
||||||
| ID | 名称 | 模块 | 原厂函数 |
|
|
||||||
|---|---|---|---|
|
|
||||||
| `Basic_GetSystemAccount_v2` | 获取平台账号(通用) | app | `Basic.GetSystemAccount_v2` |
|
|
||||||
| `Basic_GetSystemAccount` | 获取系统账号（门户专用） | app | `Basic.GetSystemAccount` |
|
|
||||||
| `Basic_GetSystemAccount_v1` | 获取平台账号 | app | `Basic.GetSystemAccount_v1` |
|
|
||||||
| `DataService_DeleteControllerFiles_v1` | 删除文件 | message | `DataService.DeleteControllerFiles_v1` |
|
|
||||||
| `DataService_ReportException` | 上报异常信息 | message | `DataService.ReportException` |
|
|
||||||
| `DataService_ProductionQueue` | 将数据存入队列 | message | `DataService.ProductionQueue` |
|
|
||||||
| `DataService_UploadControllerFiles_v1` | 上传文件 | message | `DataService.UploadControllerFiles_v1` |
|
|
||||||
| `DataService_ServiceNew` | 数据服务(松塔) | message | `DataService.ServiceNew` |
|
|
||||||
| `DataService_DeleteControllerFiles` | 删除控制器文件 | message | `DataService.DeleteControllerFiles` |
|
|
||||||
| `DataService_Service` | 数据服务 | message | `DataService.Service` |
|
|
||||||
| `DataService_DownloadControllerFiles` | 下载控制器文件 | message | `DataService.DownloadControllerFiles` |
|
|
||||||
| `DataService_DownloadControllerFiles_v1` | 下载文件 | message | `DataService.DownloadControllerFiles_v1` |
|
|
||||||
| `DataService_ConsumptionQueue` | 从队列获取数据 | message | `DataService.ConsumptionQueue` |
|
|
||||||
| `DataService_UploadControllerFiles` | 上传文件至控制器 | message | `DataService.UploadControllerFiles` |
|
|
||||||
| `DataService_AiScreenText` | 提取屏幕数据(AI) | message | `DataService.AiScreenText` |
|
|
||||||
| `DataService_AiScreenDate` | 选择日期时间(AI) | message | `DataService.AiScreenDate` |
|
|
||||||
| `DataService_AiScreenOperate` | 操作屏幕(AI) | message | `DataService.AiScreenOperate` |
|
|
||||||
| `Element_DoubleClickSap` | 双击SAP表格单元格 | web | `Element.DoubleClickSap` |
|
|
||||||
| `File_UploadBusinessResults_v1` | 上报办理结果 | file | `File.UploadBusinessResults_v1` |
|
|
||||||
| `File_StartBusiness` | 上报办理业务 | file | `File.StartBusiness` |
|
|
||||||
| `File_UploadBusinessResults` | 上报办理结果(门户专用) | file | `File.UploadBusinessResults` |
|
|
||||||
| `File_Collectupload` | 上报采集数据 | file | `File.Collectupload` |
|
|
||||||
| `File_UploadFolder` | 结果打包上传 | file | `File.UploadFolder` |
|
|
||||||
| `Mark_Mark` | 图片打标 | vision | `Mark.Mark` |
|
|
||||||
| `Mobile_ConnectPhone` | 连接手机 | mobile | `Mobile.ConnectPhone` |
|
|
||||||
| `Mobile_MobileElementAarray` | 获取手机相似元素数组 | mobile | `Mobile.MobileElementAarray` |
|
|
||||||
| `Mobile_Call` | 拨打电话 | mobile | `Mobile.Call` |
|
|
||||||
| `Mobile_MobileSetText_V1` | 手机键盘输入 | mobile | `Mobile.MobileSetText_V1` |
|
|
||||||
| `Mobile_ClickButton` | 系统导航键 | mobile | `Mobile.ClickButton` |
|
|
||||||
| `Mobile_SetInputV1` | 手机输入文本 | mobile | `Mobile.SetInputV1` |
|
|
||||||
| `Mobile_ConnectPhoneV3` | 连接手机 | mobile | `Mobile.ConnectPhoneV3` |
|
|
||||||
| `Mobile_GetAttribute` | 手机元素属性拾取 | mobile | `Mobile.GetAttribute` |
|
|
||||||
| `Mobile_Exists` | 手机元素判断 | mobile | `Mobile.Exists` |
|
|
||||||
| `Mobile_MobileElementList` | 获取手机相似元素列表 | mobile | `Mobile.MobileElementList` |
|
|
||||||
| `Mobile_FileTransfer` | 手机文件传输 | mobile | `Mobile.FileTransfer` |
|
|
||||||
| `Mobile_GetPhoneInfomation` | 获取手机连接详情 | mobile | `Mobile.GetPhoneInfomation` |
|
|
||||||
| `Mobile_ClickLocation` | 手机屏幕坐标点击 | mobile | `Mobile.ClickLocation` |
|
|
||||||
| `Mobile_SaveFilePhone` | 保存文件到手机 | mobile | `Mobile.SaveFilePhone` |
|
|
||||||
| `Mobile_SetInput` | 设置文本｜填写输入框 | mobile | `Mobile.SetInput` |
|
|
||||||
| `Mobile_MobileCvClick` | 手机智能元素点击 | mobile | `Mobile.MobileCvClick` |
|
|
||||||
| `Mobile_TouchSlideV1` | 触摸滑动 | mobile | `Mobile.TouchSlideV1` |
|
|
||||||
| `Mobile_GetPhoneFiles` | 从手机中获取文件 | mobile | `Mobile.GetPhoneFiles` |
|
|
||||||
| `Mobile_OpenMobileApp` | 打开手机APP | mobile | `Mobile.OpenMobileApp` |
|
|
||||||
| `Mobile_TouchSlide` | 触摸滑动 | mobile | `Mobile.TouchSlide` |
|
|
||||||
| `Mobile_GetMobileUiTree` | 获取手机UI树 | mobile | `Mobile.GetMobileUiTree` |
|
|
||||||
| `Mobile_GetScreenOrientation` | 获取手机屏幕方向 | mobile | `Mobile.GetScreenOrientation` |
|
|
||||||
| `Mobile_GetElement` | 获取手机元素对象 | mobile | `Mobile.GetElement` |
|
|
||||||
| `Mobile_MobileCvSetText` | 智能设置文本｜填写输入框 | mobile | `Mobile.MobileCvSetText` |
|
|
||||||
| `Mobile_ClosePhone` | 关闭连接手机 | mobile | `Mobile.ClosePhone` |
|
|
||||||
| `Mobile_SetInputV2` | 手机输入文本 | mobile | `Mobile.SetInputV2` |
|
|
||||||
| `Mobile_SetScreenOrientation` | 设置手机屏幕方向 | mobile | `Mobile.SetScreenOrientation` |
|
|
||||||
| `Mobile_ImageClick` | 点击手机图像 | mobile | `Mobile.ImageClick` |
|
|
||||||
| `Mobile_CloseMobileApp` | 关闭手机APP | mobile | `Mobile.CloseMobileApp` |
|
|
||||||
| `Mobile_ElementShot` | 手机元素截图 | mobile | `Mobile.ElementShot` |
|
|
||||||
| `Mobile_ScreenShot` | 手机截屏 | mobile | `Mobile.ScreenShot` |
|
|
||||||
| `Mobile_GetClipboardText` | 获取手机剪切板文本 | mobile | `Mobile.GetClipboardText` |
|
|
||||||
| `Mobile_ConnectPhoneV2` | 连接手机 | mobile | `Mobile.ConnectPhoneV2` |
|
|
||||||
| `Mobile_GetText` | 手机元素文本拾取 | mobile | `Mobile.GetText` |
|
|
||||||
| `Mobile_MobileSetText` | 手机键盘输入 | mobile | `Mobile.MobileSetText` |
|
|
||||||
| `Mobile_MobileElementList_V1` | 获取手机相似元素列表 | mobile | `Mobile.MobileElementList_V1` |
|
|
||||||
| `Mobile_ElementClick` | 手机元素点击 | mobile | `Mobile.ElementClick` |
|
|
||||||
| `Mobile_GetChildren` | 获取手机子元素 | mobile | `Mobile.GetChildren` |
|
|
||||||
| `Mobile_SetClipboardText` | 设置手机剪切板文本 | mobile | `Mobile.SetClipboardText` |
|
|
||||||
| `Mobile_ConnectPhoneV1` | 连接手机 | mobile | `Mobile.ConnectPhoneV1` |
|
|
||||||
| `OCR_RotateVerificationCodeV1` | 旋转图片验证码 | vision | `OCR.RotateVerificationCodeV1` |
|
|
||||||
| `OCR_PuzzleVerificationCode_v1` | 推理拼图验证码 | vision | `OCR.PuzzleVerificationCode_v1` |
|
|
||||||
| `OCR_ClickVerificationCodeV2` | 点选验证码 | vision | `OCR.ClickVerificationCodeV2` |
|
|
||||||
| `OCR_SourceCommonEnglishNumbersCodeV2` | 普通验证码 | vision | `OCR.SourceCommonEnglishNumbersCodeV2` |
|
|
||||||
| `OCR_SimpleSliderVerificationCode` | 滑块验证码（滑动条式） | vision | `OCR.SimpleSliderVerificationCode` |
|
|
||||||
| `OCR_SourceMergeCardOCR` | 识别卡证文字 | vision | `OCR.SourceMergeCardOCR` |
|
|
||||||
| `OCR_SliderVerificationCodeV5` | 滑动拼图验证码 | vision | `OCR.SliderVerificationCodeV5` |
|
|
||||||
| `OCR_SliderVerificationCodeV4` | 滑动拼图验证码 | vision | `OCR.SliderVerificationCodeV4` |
|
|
||||||
| `OCR_SourceMergeOtherOCR` | 识别其他场景文字 | vision | `OCR.SourceMergeOtherOCR` |
|
|
||||||
| `OCR_SliderCode` | 滑块验证码 | vision | `OCR.SliderCode` |
|
|
||||||
| `OCR_SourceMergeGeneralOCR` | 通用文字识别 | vision | `OCR.SourceMergeGeneralOCR` |
|
|
||||||
| `OCR_RotateVerificationCodeV2` | 旋转图片验证码 | vision | `OCR.RotateVerificationCodeV2` |
|
|
||||||
| `OCR_RotateVerificationCode` | 滑块验证码（旋转式） | vision | `OCR.RotateVerificationCode` |
|
|
||||||
| `OCR_ClickVerificationCodeV1` | 点选验证码 | vision | `OCR.ClickVerificationCodeV1` |
|
|
||||||
| `OCR_PuzzleVerificationCode` | 推理拼图验证码 | vision | `OCR.PuzzleVerificationCode` |
|
|
||||||
| `OCR_SimpleSliderVerificationCodeV2` | 滑动条验证码 | vision | `OCR.SimpleSliderVerificationCodeV2` |
|
|
||||||
| `OCR_SourceCommonEnglishNumbersCode` | 普通验证码 | vision | `OCR.SourceCommonEnglishNumbersCode` |
|
|
||||||
| `OCR_SourceMergeCarOCR` | 识别汽车场景文字 | vision | `OCR.SourceMergeCarOCR` |
|
|
||||||
| `OCR_SliderVerificationCodeV2` | 滑块验证码（拼图样式） | vision | `OCR.SliderVerificationCodeV2` |
|
|
||||||
| `OCR_SliderVerificationCodeV1` | 滑块验证码（拼图样式） | vision | `OCR.SliderVerificationCodeV1` |
|
|
||||||
| `OCR_SliderVerificationCode` | 滑块验证码（拼图样式） | vision | `OCR.SliderVerificationCode` |
|
|
||||||
| `OCR_SourceMergeEducationOCR` | 识别教育场景文字 | vision | `OCR.SourceMergeEducationOCR` |
|
|
||||||
| `OCR_SliderVerificationCodeV3` | 滑动拼图验证码 | vision | `OCR.SliderVerificationCodeV3` |
|
|
||||||
| `OCR_ClickVerificationCode` | 点选验证码 | vision | `OCR.ClickVerificationCode` |
|
|
||||||
| `OCR_SourceCommonEnglishNumbersCodeV1` | 普通验证码 | vision | `OCR.SourceCommonEnglishNumbersCodeV1` |
|
|
||||||
| `OCR_PuzzleVerificationCode_v2` | 推理拼图验证码 | vision | `OCR.PuzzleVerificationCode_v2` |
|
|
||||||
| `OCR_SourceMergePaperOCR` | 识别票据文字 | vision | `OCR.SourceMergePaperOCR` |
|
|
||||||
| `OCR_SimpleSliderVerificationCodeV1` | 滑动条验证码 | vision | `OCR.SimpleSliderVerificationCodeV1` |
|
|
||||||
| `OCR_SourceMergeGeneralOCR_V1` | 识别通用文字 | vision | `OCR.SourceMergeGeneralOCR_V1` |
|
|
||||||
| `OCR_SliderVerificationCodePosition` | 获取拼图滑块位置 | vision | `OCR.SliderVerificationCodePosition` |
|
|
||||||
| `OcrOffline_ClickOcrText_V1` | 鼠标点击OCR文本 | vision | `OcrOffline.ClickOcrText_V1` |
|
|
||||||
| `OcrOffline_MoveToOcrText` | 鼠标移动到OCR文本上 | vision | `OcrOffline.MoveToOcrText` |
|
|
||||||
| `OcrOffline_ClickOcrText` | 鼠标点击OCR文本 | vision | `OcrOffline.ClickOcrText` |
|
|
||||||
| `OcrOffline_MoveToOcrText_V1` | 鼠标移动到OCR文本上 | vision | `OcrOffline.MoveToOcrText_V1` |
|
|
||||||
| `OCR_BaiDu_CarOCR` | 汽车场景类OCR | vision | `OCR_BaiDu.CarOCR` |
|
|
||||||
| `OCR_BaiDu_OtherOCR` | 其他场景类OCR | vision | `OCR_BaiDu.OtherOCR` |
|
|
||||||
| `OCR_BaiDu_EducationOCR` | 教育场景类OCR | vision | `OCR_BaiDu.EducationOCR` |
|
|
||||||
| `OCR_BaiDu_GeneralOCR` | 通用OCR | vision | `OCR_BaiDu.GeneralOCR` |
|
|
||||||
| `OCR_BaiDu_CardOCR` | 卡片类OCR | vision | `OCR_BaiDu.CardOCR` |
|
|
||||||
| `OCR_BaiDu_PaperOCR` | 票据类OCR | vision | `OCR_BaiDu.PaperOCR` |
|
|
||||||
| `peripherals_UsbCom` | 开/关USB通道 | mobile | `peripherals.UsbCom` |
|
|
||||||
| `peripherals_CloseNetworkUsbCom` | 关闭NetworkUSB通道 | mobile | `peripherals.CloseNetworkUsbCom` |
|
|
||||||
| `peripherals_CloseUsbCom` | 关闭USB通道 | mobile | `peripherals.CloseUsbCom` |
|
|
||||||
| `peripherals_NetworkUsbCom` | 开/关NetworkUSB通道 | mobile | `peripherals.NetworkUsbCom` |
|
|
||||||
| `peripherals_OpenNetworkUsbCom` | 开启NetworkUSB通道 | mobile | `peripherals.OpenNetworkUsbCom` |
|
|
||||||
| `peripherals_OpenUsbCom` | 开启USB通道 | mobile | `peripherals.OpenUsbCom` |
|
|
||||||
| `SafeControlInput_KeyInput` | 安全控件文本输入 | desktop | `SafeControlInput.KeyInput` |
|
|
||||||
| `Scenario_CreditVerify` | 征信报告解析 | message | `Scenario.CreditVerify` |
|
|
||||||
| `Scenario_VatInvoice` | 增值税发票验真 | message | `Scenario.VatInvoice` |
|
|
||||||
| `Scenario_PhysicalExamination` | 体检报告解析 | message | `Scenario.PhysicalExamination` |
|
|
||||||
| `System_ResetMechanicalArm` | 复位机械臂 | app | `System.ResetMechanicalArm` |
|
|
||||||
| `System_MechanicalArmClick` | 机械臂点击 | app | `System.MechanicalArmClick` |
|
|
||||||
| `System_ConnectingUshield` | 连接U盾 | app | `System.ConnectingUshield` |
|
|
||||||
| `System_ConnectingMechanicalArm` | 连接机械臂 | app | `System.ConnectingMechanicalArm` |
|
|
||||||
| `System_CloseMechanicalArm` | 断开机械臂 | app | `System.CloseMechanicalArm` |
|
|
||||||
| `System_CloseUshield` | 断开U盾 | app | `System.CloseUshield` |
|
|
||||||
| `System_GetMobileMessage` | 获取手机短信 | app | `System.GetMobileMessage` |
|
|
||||||
| `WebBrowser_DownloadDialog` | 处理下载对话框 | web | `WebBrowser.DownloadDialog` |
|
|
||||||
|
|
||||||
## 恢复方式
|
|
||||||
|
|
||||||
如后续需要恢复某项，先实现对应 handler，再从 `resources/excluded.json` 的 `ids` 与 `components` 中移除，并重新运行 `npm run package`。
|
|
||||||
@ -1,925 +0,0 @@
|
|||||||
# 重复能力去留清单
|
|
||||||
|
|
||||||
> 快照时间：2026-11-02 · 保留 658 个主能力，隐藏 236 个重复旧版本 / 别名；执行器保留，旧流程不受影响。
|
|
||||||
|
|
||||||
## 去留规则
|
|
||||||
|
|
||||||
1. 先按能力名称聚合。
|
|
||||||
2. 再按目标域拆分：CV、桌面 Ground、网页元素、Excel、数据库、邮件协议等不互相吞并。
|
|
||||||
3. 同域内保留最新主版本；带 `Vn` 的优先级高于基础旧 ID，`New` 仅在没有更高版本时保留。
|
|
||||||
4. 重复 ID 标记 `duplicateOf` 后从组件库隐藏，但运行器和旧流程兼容保留。
|
|
||||||
|
|
||||||
## 汇总
|
|
||||||
|
|
||||||
| 状态 | 数量 |
|
|
||||||
|---|---:|
|
|
||||||
| 保留主能力 | 658 |
|
|
||||||
| 隐藏重复能力 | 236 |
|
|
||||||
| 原可编排数量 | 894 |
|
|
||||||
| 清理后组件库数量 | 658 |
|
|
||||||
|
|
||||||
## 保留主能力
|
|
||||||
|
|
||||||
| ID | 名称 |
|
|
||||||
|---|---|
|
|
||||||
| `Trigger.Manual` | 人工发起 |
|
|
||||||
| `Trigger.Schedule` | 定时触发 |
|
|
||||||
| `Trigger.FileArrival` | 文件到达触发 |
|
|
||||||
| `logic_control_if_else` | IF 条件分支 |
|
|
||||||
| `logic_control_var` | 设置变量 |
|
|
||||||
| `Basic_SetVariable_V1` | 设置变量 |
|
|
||||||
| `logic_control_count_for` | 计次循环 |
|
|
||||||
| `logic_control_while` | 条件循环 |
|
|
||||||
| `infinite_loop` | 无限循环 |
|
|
||||||
| `logic_control_next_for` | 继续下次循环 |
|
|
||||||
| `logic_control_break_for` | 跳出循环 |
|
|
||||||
| `logic_control_try_catch` | 异常捕获 |
|
|
||||||
| `logic_control_stop` | 退出流程 |
|
|
||||||
| `logic_control_stop_return` | 返回并退出流程 |
|
|
||||||
| `child_modules_v1` | 调用子流程 |
|
|
||||||
| `concurrent_child_process_v1` | 并发调用子流程 |
|
|
||||||
| `logic_control_array_for_v3` | 遍历列表 |
|
|
||||||
| `logic_control_dictionary_for_v1` | 遍历字典 |
|
|
||||||
| `Element_exception_monitor_v2` | 异常监控 |
|
|
||||||
| `logic_control_if_ai_vision` | 判断屏幕图像(AI) |
|
|
||||||
| `App_Run` | 启动应用程序 |
|
|
||||||
| `App_GetPid` | 获取一个匹配PID |
|
|
||||||
| `App_GetPids` | 获取全部匹配PID |
|
|
||||||
| `App_KillV1` | 关闭应用程序 |
|
|
||||||
| `Array_Reshape2Dim` | 转化数组维度 |
|
|
||||||
| `Basic_IsDictionary` | 判断数据是否为字典 |
|
|
||||||
| `Basic_StringToNum` | 将文本转换为数字 |
|
|
||||||
| `Basic_Delay_V2` | 等待 |
|
|
||||||
| `Basic_ConvertInt` | 数值转为整数类型 |
|
|
||||||
| `Basic_RandomInt` | 生成随机数 |
|
|
||||||
| `Basic_IsNumber` | 判断数据是否为数值 |
|
|
||||||
| `Basic_ConvertBool` | 数据转为布尔类型 |
|
|
||||||
| `Basic_Type` | 获取数据类型 |
|
|
||||||
| `Basic_Dodecryption` | 设置密文变量 |
|
|
||||||
| `Basic_IsNull` | 判断数据是否为空 |
|
|
||||||
| `Basic_DebugOutput` | 调试输出 |
|
|
||||||
| `Basic_BusinessOrderCount` | 业务办理计数 |
|
|
||||||
| `Basic_ConvertNumber` | 数据转为数值类型 |
|
|
||||||
| `Basic_GetProcessInfo` | 获取流程信息 |
|
|
||||||
| `Basic_ConvertString` | 将数字转换为文本 |
|
|
||||||
| `Basic_Delay` | 流程延迟执行 |
|
|
||||||
| `Basic_IsArray` | 判断数据是否为数组 |
|
|
||||||
| `Basic_Clone` | 复制数据 |
|
|
||||||
| `Basic_JudgeDataType` | 判断数据类型 |
|
|
||||||
| `Basic_DataTypeConversion` | 转换数据类型 |
|
|
||||||
| `Bivartable_CreateDfV1` | 创建数据表格 |
|
|
||||||
| `Bivartable_GetMaxValue` | 获取最大值 |
|
|
||||||
| `Bivartable_DelDfColRow` | 删除行/列 |
|
|
||||||
| `Bivartable_ReadDfData_V1` | 读取数据 |
|
|
||||||
| `Bivartable_GetMinValue` | 获取最小值 |
|
|
||||||
| `Bivartable_HandleDfMissValue` | 缺失值处理 |
|
|
||||||
| `Bivartable_ColumnOperationDf` | 两列运算 |
|
|
||||||
| `Bivartable_SortDf` | 排序数据表格 |
|
|
||||||
| `Bivartable_ReadTable` | 读取数据表内容 |
|
|
||||||
| `Bivartable_DoCreate` | 创建二维表 |
|
|
||||||
| `Bivartable_WriteDfData` | 写入数据 |
|
|
||||||
| `Bivartable_FilterDf` | 筛选数据表格 |
|
|
||||||
| `Bivartable_SummaryCalculationDf` | 按列汇总计算 |
|
|
||||||
| `Bivartable_DoSort` | 排序 |
|
|
||||||
| `Bivartable_DoFilter` | 表格过滤 |
|
|
||||||
| `Bivartable_InsertDfData` | 插入数据 |
|
|
||||||
| `Bivartable_ReadDfIndexColumns` | 读取行名/列名 |
|
|
||||||
| `Bivartable_ReadDfShape` | 读取行数/列数 |
|
|
||||||
| `Bivartable_DfWriteToFile` | 写入到文件 |
|
|
||||||
| `Bivartable_DoSave` | 保存二维表至Excel |
|
|
||||||
| `Bivartable_PivotDf` | 生成数据透视表 |
|
|
||||||
| `Bivartable_GetSumValue` | 获取统计总和 |
|
|
||||||
| `Bivartable_GetAvgValue` | 获取平均值 |
|
|
||||||
| `Bivartable_SpliceColData` | 拼接两列数据 |
|
|
||||||
| `Bivartable_Dtype` | 列数据类型转换 |
|
|
||||||
| `Bivartable_ModifyDfName` | 修改行名/列名 |
|
|
||||||
| `Bivartable_ModifyColName` | 修改列名 |
|
|
||||||
| `Bivartable_DeleteDuplicateRow` | 删除重复行 |
|
|
||||||
| `Bivartable_MergeDf` | 合并数据表格 |
|
|
||||||
| `Bivartable_DoOpenExcel` | 基于Excel创建二维表 |
|
|
||||||
| `Bivartable_DoMerge` | 合并二维表 |
|
|
||||||
| `Bivartable_WriteTable` | 数据表写入内容 |
|
|
||||||
| `Bivartable_DoJoint` | 拼接列 |
|
|
||||||
| `Bivartable_DoCal` | 列计算 |
|
|
||||||
| `Clipboard_SetImage` | 设置剪切板图片 |
|
|
||||||
| `Clipboard_SetTextV1` | 将文本添加到剪切板 |
|
|
||||||
| `Clipboard_GetText` | 取剪切板文本 |
|
|
||||||
| `Clipboard_SaveImageV1` | 获取剪切板文件 |
|
|
||||||
| `Clipboard_GetTextV1` | 获取剪切板文本 |
|
|
||||||
| `Clipboard_ClearClipboard` | 清空剪切板 |
|
|
||||||
| `Clipboard_SetImageV1` | 将文件添加到剪切板 |
|
|
||||||
| `Clipboard_SetText` | 设置剪切板文本 |
|
|
||||||
| `Clipboard_SaveImage` | 取剪切板图片 |
|
|
||||||
| `Collection_Create` | 创建集合 |
|
|
||||||
| `Collection_HasItem` | 判断集合元素存在 |
|
|
||||||
| `Collection_Count` | 取集合大小 |
|
|
||||||
| `Collection_Remove` | 删除集合元素 |
|
|
||||||
| `Collection_Add` | 添加集合元素 |
|
|
||||||
| `CSV_ReadNew` | 读取内容 |
|
|
||||||
| `CSV_WriteNew` | 写入内容 |
|
|
||||||
| `CustomConfig_GetConfig` | 自定义配置 |
|
|
||||||
| `CV_GetText` | 获取文本 |
|
|
||||||
| `CV_SetText` | 文本输入 |
|
|
||||||
| `Element_SetValue_V1` | 文本输入 |
|
|
||||||
| `Element_SetValueGround` | 文本输入 |
|
|
||||||
| `CV_MouseHover` | 移动到元素上 |
|
|
||||||
| `CV_MouseClick` | 元素点击 |
|
|
||||||
| `Element_Click_V1` | 元素点击 |
|
|
||||||
| `Element_ClickGround` | 元素点击 |
|
|
||||||
| `Database_BatchSQLExecute` | 批量执行SQL语句 |
|
|
||||||
| `Database_DBConnect` | 连接数据库 |
|
|
||||||
| `Database_SingleSQLQuery` | 执行单SQL查询 |
|
|
||||||
| `Database_BatchInsertExecute` | SQL批量插入数据 |
|
|
||||||
| `Database_AllSQLQuery_V1` | 执行全SQL查询 |
|
|
||||||
| `Database_CloseDBConnect` | 关闭连接 |
|
|
||||||
| `Mail_RecvClose` | 关闭连接 |
|
|
||||||
| `Database_SQLExecute` | 执行SQL语句 |
|
|
||||||
| `Databook_WriteContent` | 写入内容至数据表 |
|
|
||||||
| `Databook_DeleteColumn` | 删除数据表格列 |
|
|
||||||
| `Databook_Export` | 导出数据表格 |
|
|
||||||
| `Databook_GetColumnInfo` | 获取列信息 |
|
|
||||||
| `Databook_ReadContent` | 读取数据表格内容 |
|
|
||||||
| `Databook_Clear` | 清空数据表格 |
|
|
||||||
| `Databook_SetColumnInfo` | 设置列描述 |
|
|
||||||
| `Databook_Import` | 导入数据表格 |
|
|
||||||
| `Databook_GetRowAndColCount` | 读取数据表格总行列数 |
|
|
||||||
| `Databook_DeleteRow` | 删除数据表格行 |
|
|
||||||
| `DataService_Correct` | 文本纠错 |
|
|
||||||
| `DataService_AgentCall` | 调用智能体 |
|
|
||||||
| `DataService_AIGenTxt` | AI生成文本 |
|
|
||||||
| `DataService_WorkingDay` | 判断是否工作日 |
|
|
||||||
| `DataService_Diff` | 文本比对 |
|
|
||||||
| `DataService_LargeModel` | 大模型 |
|
|
||||||
| `DataService_Review` | 文本审核 |
|
|
||||||
| `DataService_ChatBot` | chatbot对话机器人 |
|
|
||||||
| `DataService_KeyWord` | 关键词抽取 |
|
|
||||||
| `DataService_ZBrain` | 自定义AI模型 |
|
|
||||||
| `Dialog_SaveFile` | 保存文件对话框 |
|
|
||||||
| `Dialog_CsInputBox` | 输入对话框 |
|
|
||||||
| `Dialog_GetConfig` | 输入输出对话框 |
|
|
||||||
| `Dialog_GetConfigV7` | 人机交互表单 |
|
|
||||||
| `Dialog_Notice_V2` | 消息通知 |
|
|
||||||
| `Dialog_OpenFile` | 打开文件对话框 |
|
|
||||||
| `Dialog_GetConfigV8` | 自定义对话框 |
|
|
||||||
| `Dialog_OpenFiles` | 打开文件对话框(多选) |
|
|
||||||
| `Dialog_CsMsgBox` | 消息确认对话框 |
|
|
||||||
| `Dict_Create` | 创建字典 |
|
|
||||||
| `Dict_Delete` | 删除键值对 |
|
|
||||||
| `Dict_Items` | 获取字典所有键值 |
|
|
||||||
| `Dict_Values` | 获取字典所有值 |
|
|
||||||
| `Dict_Clear` | 清空字典 |
|
|
||||||
| `Dict_GetItem` | 获取字典值 |
|
|
||||||
| `Dict_Keys` | 获取字典所有键 |
|
|
||||||
| `Dict_Update` | 合并字典 |
|
|
||||||
| `Dict_SetItem` | 设置字典值 |
|
|
||||||
| `Element_SetValuePassword_V1` | 输入密码框 |
|
|
||||||
| `Element_Region2_v3` | 获取元素坐标 |
|
|
||||||
| `Element_RegionGround` | 获取元素坐标 |
|
|
||||||
| `Element_SelectOperation_v3` | 下拉框操作 |
|
|
||||||
| `Element_Sibling_V2` | 获取兄弟元素 |
|
|
||||||
| `Element_Children_V2` | 获取子元素 |
|
|
||||||
| `Element_ChildrenGround` | 获取子元素 |
|
|
||||||
| `Element_ElementAarray` | 获取相似元素数组 |
|
|
||||||
| `Element_Exists` | 元素判断 |
|
|
||||||
| `Element_ExistsGround` | 元素判断 |
|
|
||||||
| `Element_GetCheckGround` | 获取勾选框状态值 |
|
|
||||||
| `Element_GetCheck` | 获取勾选框状态值 |
|
|
||||||
| `Element_SetAttribute_v2` | 设置网页元素属性 |
|
|
||||||
| `Element_SetAttributeGround` | 设置网页元素属性 |
|
|
||||||
| `Element_WaitElement_v5` | 等待元素 |
|
|
||||||
| `Element_WaitElementGround` | 等待元素 |
|
|
||||||
| `Element_ScrollIntoView_v2` | 滚动页面 |
|
|
||||||
| `Element_ScrollIntoViewGround` | 滚动页面 |
|
|
||||||
| `Element_MouseTo_V4` | 鼠标移动到元素上 |
|
|
||||||
| `Element_MouseToGround` | 鼠标移动到元素上 |
|
|
||||||
| `Element_Click_V6` | 点击界面元素 |
|
|
||||||
| `Element_SetCheckGround` | 设置勾选框状态 |
|
|
||||||
| `Element_SetCheck` | 设置勾选框状态 |
|
|
||||||
| `Element_Parent_V2` | 获取父元素 |
|
|
||||||
| `Element_SetValue_V3` | 输入文本框 |
|
|
||||||
| `Element_StopAutoClosePopup` | 停止智能弹窗侦测 |
|
|
||||||
| `Element_GetButtonEnable_v4` | 判断元素是否可点击 |
|
|
||||||
| `Element_SetValue_V6` | 输入文本 |
|
|
||||||
| `Element_GetText_V5` | 获取界面元素文本 |
|
|
||||||
| `Element_GetValue` | 获取元素文本 |
|
|
||||||
| `Element_GetValueGround` | 获取元素文本 |
|
|
||||||
| `Element_SimilarElementList_V2` | 获取相似元素列表 |
|
|
||||||
| `Element_Shot_V2` | 元素截图 |
|
|
||||||
| `Element_ShotGround` | 元素截图 |
|
|
||||||
| `Element_CheckBoxOperation_v3` | 勾选框操作 |
|
|
||||||
| `Element_GetLineBarChartData` | 获取折线图/柱状图数据 |
|
|
||||||
| `Element_GetAttribute_v3` | 获取网页元素属性 |
|
|
||||||
| `Element_GetAttributeGround` | 获取网页元素属性 |
|
|
||||||
| `Element_GetSelect` | 获取下拉框选项值 |
|
|
||||||
| `Element_GetSelectGround` | 获取下拉框选项值 |
|
|
||||||
| `Element_SetValuePassword_V6` | 输入密码 |
|
|
||||||
| `Element_GetText_V1` | 获取区域文字 |
|
|
||||||
| `Element_GetElementNew` | 获取元素对象 |
|
|
||||||
| `Element_GetElementInfo_V1` | 获取元素信息 |
|
|
||||||
| `Element_ExistsV1` | 判断元素存在 |
|
|
||||||
| `Element_GetPieChartData` | 获取饼状图数据 |
|
|
||||||
| `Element_GetTableData` | 获取SAP表格数据 |
|
|
||||||
| `Element_StartAutoClosePopup` | 启动智能弹窗侦测 |
|
|
||||||
| `Element_SetSelectGround` | 设置下拉框选择项 |
|
|
||||||
| `Element_SetSelect` | 设置下拉框选择项 |
|
|
||||||
| `Element_GetHtml` | 获取网页元素源码 |
|
|
||||||
| `Element_GetButtonEnableGround` | 元素是否可点击 |
|
|
||||||
| `Element_FileUploader` | 上传文件 |
|
|
||||||
| `WebBrowser_Upload` | 上传文件 |
|
|
||||||
| `Excel_WriteColumnNew` | 写入列 |
|
|
||||||
| `Excel_Cs_SetCellFormat_V3` | 设置单元格格式 |
|
|
||||||
| `Excel_Cs_ReadContentV4` | 读取Excel内容 |
|
|
||||||
| `Excel_Cs_AutoFillV2` | 自动填充 |
|
|
||||||
| `Excel_NewExcel` | 新建excel |
|
|
||||||
| `Excel_Cs_CopyV2` | 复制Sheet |
|
|
||||||
| `Excel_WriteRangeNew` | 写入区域 |
|
|
||||||
| `Excel_Cs_DeleteColumn` | 删除列 |
|
|
||||||
| `Excel_Cs_OpenV4` | 打开Excel |
|
|
||||||
| `Excel_PasteRange` | 粘贴区域 |
|
|
||||||
| `Excel_OpenExcelNew` | 打开excel |
|
|
||||||
| `Excel_CopyRange` | 复制区域 |
|
|
||||||
| `Excel_Cs_ClearRangeV4` | 清除区域 |
|
|
||||||
| `Excel_Cs_InsertColumnV3` | 插入列 |
|
|
||||||
| `Excel_Cs_ReadRowCount` | 读取行数 |
|
|
||||||
| `Excel_Cs_ReadColumnCount` | 读取列数 |
|
|
||||||
| `Excel_Cs_Group` | 组合行列 |
|
|
||||||
| `Excel_ReadCellNew` | 读取单元格 |
|
|
||||||
| `Excel_WriteCellNew` | 写入单元格 |
|
|
||||||
| `Excel_Cs_SetRangeFontV2` | 设置区域字体颜色 |
|
|
||||||
| `Excel_Cs_DeletePictureV2` | 删除图片 |
|
|
||||||
| `Excel_Cs_NewV5` | 新建Excel |
|
|
||||||
| `Excel_GetColDataNew` | 读取列 |
|
|
||||||
| `Excel_GetSheetsName` | 获取sheet名 |
|
|
||||||
| `Excel_Cs_GetEmptyCell` | 获取第一个空白单元格 |
|
|
||||||
| `Excel_Cs_GetEditRange` | 获取已编辑区域 |
|
|
||||||
| `Excel_Cs_InsertRowV3` | 插入行 |
|
|
||||||
| `Excel_Cs_RefreshPivotTable` | 刷新Excel数据透视表 |
|
|
||||||
| `Excel_Cs_SetHeightV1` | 设置行高 |
|
|
||||||
| `Excel_Cs_Encrypt` | 加密Excel |
|
|
||||||
| `Excel_Cs_Move` | 移动Sheet |
|
|
||||||
| `Excel_Cs_DeleteDuplicates` | 删除重复 |
|
|
||||||
| `Excel_Cs_DeleteRangeV3` | 删除区域 |
|
|
||||||
| `Excel_Cs_ExcelFilter` | Excel数据筛选 |
|
|
||||||
| `Excel_Cs_GetPath` | 获取Excel路径 |
|
|
||||||
| `Excel_Cs_DeleteRow` | 删除行 |
|
|
||||||
| `Excel_Cs_Active` | 激活Sheet |
|
|
||||||
| `Excel_ReadRangeNew` | 读取区域 |
|
|
||||||
| `Excel_Cs_ConvertColumn` | 列名转换 |
|
|
||||||
| `Excel_Cs_InsertPictureV2` | 插入图片 |
|
|
||||||
| `Excel_Cs_Insert` | 插入Sheet |
|
|
||||||
| `Excel_Cs_Merge` | 合并Sheet |
|
|
||||||
| `Excel_Cs_ReadCellFormula` | 获取单元格公式 |
|
|
||||||
| `Excel_Save` | 保存excel |
|
|
||||||
| `Excel_Cs_InsertPivotView` | 新建透视图 |
|
|
||||||
| `Excel_Cs_Filter` | 数据筛选 |
|
|
||||||
| `Excel_SetCellFontColor` | 单元格字体颜色 |
|
|
||||||
| `Excel_Cs_CopyRangeV3` | 复制表格内容 |
|
|
||||||
| `Excel_Cs_SetWidthV1` | 设置列宽 |
|
|
||||||
| `Excel_SetRangeColor` | 区域颜色 |
|
|
||||||
| `Excel_Cs_Interop` | Excel动态调用 |
|
|
||||||
| `Excel_Cs_InsertPivotTable` | 新建Excel数据透视表 |
|
|
||||||
| `Excel_Cs_RunMacroV2` | 执行宏 |
|
|
||||||
| `Excel_Cs_FindV2` | Excel查找/替换 |
|
|
||||||
| `Excel_Cs_SaveAs` | 另存为Excel |
|
|
||||||
| `Excel_Loop` | excel内容循环 |
|
|
||||||
| `Excel_Cs_GetLastEmptyCell` | 获取尾部第一个空白单元格 |
|
|
||||||
| `Excel_WriteRowNew` | 写入行 |
|
|
||||||
| `Excel_GetRowDataNew` | 读取行 |
|
|
||||||
| `Excel_SetRangeFontColor` | 区域字体颜色 |
|
|
||||||
| `Excel_GetColumnId` | 获取Excel列标识 |
|
|
||||||
| `Excel_Cs_SetCellFont` | 设置单元格字体颜色 |
|
|
||||||
| `Excel_Cs_Delete` | 删除Sheet |
|
|
||||||
| `Excel_ActiveSheet` | 激活sheet |
|
|
||||||
| `Excel_Cs_Export` | 导出Excel为PDF |
|
|
||||||
| `Excel_Cs_MergeCellsV2` | 合并单元格 |
|
|
||||||
| `Excel_Cs_ShowTableStyle` | 设置Excel表格样式 |
|
|
||||||
| `Excel_Cs_CloseV2` | 关闭Excel |
|
|
||||||
| `Excel_Cs_SelectRangeV3` | 选中区域 |
|
|
||||||
| `Excel_Cs_ClearExcelFilter` | 清除Excel数据筛选 |
|
|
||||||
| `Excel_Close` | 关闭excel |
|
|
||||||
| `Excel_Cs_Rename` | 重命名Sheet |
|
|
||||||
| `Excel_Cs_SetCellBackground` | 设置单元格背景颜色 |
|
|
||||||
| `Excel_Cs_Save` | 保存Excel |
|
|
||||||
| `Excel_SetCellColor` | 单元格背景颜色 |
|
|
||||||
| `Excel_Cs_GetName` | 获取Sheet名 |
|
|
||||||
| `Excel_Cs_PastRangeV2` | 粘贴表格内容 |
|
|
||||||
| `Excel_Cs_ColumnSplitV2` | Excel分列 |
|
|
||||||
| `Excel_Cs_SortV1` | Excel数据排序 |
|
|
||||||
| `Excel_Cs_ExcelAddin` | 数据处理 |
|
|
||||||
| `Excel_Cs_ReadCellBackground` | 获取单元格背景色 |
|
|
||||||
| `Excel_RenameSheet` | 重命名sheet |
|
|
||||||
| `Excel_Cs_FilterPivotTable` | 筛选Excel数据透视表 |
|
|
||||||
| `Excel_SaveAs` | 另存excel |
|
|
||||||
| `Excel_Cs_Hide` | 隐藏/显示行列 |
|
|
||||||
| `Excel_Cs_SetSlicer` | Excel切片器 |
|
|
||||||
| `Excel_Cs_WriteContent` | 写入Excel内容 |
|
|
||||||
| `Excel_Cs_EnableExcelFilter` | 取消Excel数据筛选 |
|
|
||||||
| `Excel_Cs_SetRangeBackgroundV2` | 设置区域背景颜色 |
|
|
||||||
| `Excel_Cs_LoadV2` | 获取已打开Excel |
|
|
||||||
| `Excel_Cs_RefreshAll` | 刷新Excel数据 |
|
|
||||||
| `Excel_CopySheet` | 复制sheet |
|
|
||||||
| `Excel_CreateSheet` | 创建sheet |
|
|
||||||
| `Excel_ExportRangeAsPicture` | 导出区域为图片 |
|
|
||||||
| `Excel_Cs_Search` | 查找/替换数据 |
|
|
||||||
| `Excel_DeleteSheet` | 删除sheet |
|
|
||||||
| `ExceptionUtil_Throws` | 抛出异常 |
|
|
||||||
| `File_Rename` | 重命名文件 |
|
|
||||||
| `File_Delete` | 删除文件 |
|
|
||||||
| `File_DecompressFile` | 解压文件 |
|
|
||||||
| `File_GetFileList_V1` | 获取文件列表 |
|
|
||||||
| `File_File_Move` | 移动文件 |
|
|
||||||
| `File_MoveFolder` | 移动文件夹 |
|
|
||||||
| `File_Write_V1` | 写入文件 |
|
|
||||||
| `File_PathSize` | 取文件大小 |
|
|
||||||
| `File_MakeDir` | 创建文件夹 |
|
|
||||||
| `File_Copy_V1` | 复制文件/文件夹 |
|
|
||||||
| `File_GetFileInfo` | 获取文件信息 |
|
|
||||||
| `File_GetFolderList_V1` | 获取文件夹列表 |
|
|
||||||
| `File_ReadXml` | 读取xml文件 |
|
|
||||||
| `File_OpenFile` | 打开文件夹 |
|
|
||||||
| `File_Read` | 读取文件 |
|
|
||||||
| `File_Rename_V1` | 重命名文件/文件夹 |
|
|
||||||
| `File_CreateFile` | 新建文件 |
|
|
||||||
| `File_DeleteFile` | 删除文件/文件夹 |
|
|
||||||
| `File_PathSizeNew` | 获取文件大小 |
|
|
||||||
| `File_CreateFolder` | 生成上传路径 |
|
|
||||||
| `File_Copy` | 复制文件 |
|
|
||||||
| `File_CompressFile` | 压缩文件 |
|
|
||||||
| `File_FileExists` | 判断文件存在 |
|
|
||||||
| `File_PathExists` | 判断路径 |
|
|
||||||
| `File_Move` | 移动文件/文件夹 |
|
|
||||||
| `File_EmptyFolder` | 清空文件夹 |
|
|
||||||
| `File_WaitFile` | 等待文件 |
|
|
||||||
| `FileTypeConversion_Office2pdf` | OFFICE文档转PDF |
|
|
||||||
| `FileTypeConversion_Pdf2image2` | PDF转图片 |
|
|
||||||
| `FTP_Download` | 下载文件/文件夹(FTP) |
|
|
||||||
| `FTP_Rename` | 重命名文件/文件夹(FTP) |
|
|
||||||
| `FTP_Delete` | 删除文件/文件夹(FTP) |
|
|
||||||
| `FTP_Disconnect` | 断开FTP连接 |
|
|
||||||
| `FTP_Cwd` | 切换工作目录 |
|
|
||||||
| `FTP_GetFileList` | 获取文件/文件夹(FTP) |
|
|
||||||
| `FTP_CreateDir` | 创建文件夹(FTP) |
|
|
||||||
| `FTP_Exist` | 判断文件存在(FTP) |
|
|
||||||
| `FTP_Upload` | 上传文件/文件夹(FTP) |
|
|
||||||
| `FTP_Connect` | 建立FTP连接 |
|
|
||||||
| `GoogleTable_GetAllData` | 获取列信息(Google Sheets) |
|
|
||||||
| `GoogleTable_GetAllSheetsName` | 获取Sheet名(Google Sheets) |
|
|
||||||
| `GoogleTable_WriteToSheetRegionColumns` | 写入列(Google Sheets) |
|
|
||||||
| `GoogleTable_WriteToSheetRegionRows` | 写入行(Google Sheets) |
|
|
||||||
| `GoogleTable_WriteToSheetCell` | 写入单元格(Google Sheets) |
|
|
||||||
| `GoogleTable_WriteToSheetCellFormula` | 写入单元格公式(Google Sheets) |
|
|
||||||
| `GoogleTable_GetSheetRowCount` | 获取行数(Google Sheets) |
|
|
||||||
| `GoogleTable_DownloadSheets` | 导出Sheet(Google Sheets) |
|
|
||||||
| `GoogleTable_CopyPasteSheet` | 复制粘贴(Google Sheets) |
|
|
||||||
| `GoogleTable_GetColumnsByTableTitle` | 按表头读取列(Google Sheets) |
|
|
||||||
| `GoogleTable_ChangeSheet` | 激活Sheet(Google Sheets) |
|
|
||||||
| `GoogleTable_RenameSheet` | 重命名Sheet(Google Sheets) |
|
|
||||||
| `GoogleTable_WriteToSheetRegionregion` | 写入区域(Google Sheets) |
|
|
||||||
| `Http_Post_V3` | POST请求 |
|
|
||||||
| `Http_Get_V2` | GET请求 |
|
|
||||||
| `Http_Http_Request` | HTTP 请求 |
|
|
||||||
| `Image_Click_V2` | 点击图像 |
|
|
||||||
| `Image_Move_V2` | 鼠标移动到图像上 |
|
|
||||||
| `Image_Screenshot` | 屏幕截图 |
|
|
||||||
| `Image_Base64Decode` | 图片base64编码转二进制 |
|
|
||||||
| `Image_Find_V1` | 查找图像 |
|
|
||||||
| `Image_Base64Encode` | 图片转base64编码 |
|
|
||||||
| `Image_Wait_V1` | 等待图像 |
|
|
||||||
| `Image_Exists_V1` | 判断图像 |
|
|
||||||
| `Image_Location` | 图像位置 |
|
|
||||||
| `Image_Location_V1` | 获取图像位置 |
|
|
||||||
| `Image_CropImg` | 截取图像 |
|
|
||||||
| `Image_Click_V3` | 鼠标点击图像 |
|
|
||||||
| `Image_RelativePosition` | 对比图像相对位置 |
|
|
||||||
| `Image_Move_V1` | 移动到图像 |
|
|
||||||
| `Ini_DeleteKey` | 删除INI文件键 |
|
|
||||||
| `Ini_Write` | 写入INI文件键值 |
|
|
||||||
| `Ini_ListSection` | 枚举INI文件小节 |
|
|
||||||
| `Ini_DeleteSection` | 删除INI文件小节 |
|
|
||||||
| `Ini_ListKey` | 枚举INI文件键 |
|
|
||||||
| `Ini_Read` | 读取INI文件键值 |
|
|
||||||
| `JSON_Stringify` | 将JSON转换为文本 |
|
|
||||||
| `JSON_Parse` | 将文本转换为JSON |
|
|
||||||
| `Keyboard_PressNew` | 键盘模拟按键 |
|
|
||||||
| `Keyboard_DriveSend_V2` | 键盘驱动输入 |
|
|
||||||
| `Keyboard_Press` | 键盘按键 |
|
|
||||||
| `Keyboard_Send_V1` | 键盘输入 |
|
|
||||||
| `Keyboard_EnableManualOperation` | 开启模拟人工操作 |
|
|
||||||
| `Keyboard_DisableManualOperation` | 关闭模拟人工操作 |
|
|
||||||
| `List_DeleteList` | 删除列表项 |
|
|
||||||
| `List_GetIndex` | 获取列表项的位置 |
|
|
||||||
| `List_ListMerge` | 列表合并 |
|
|
||||||
| `List_ClearList` | 清空列表 |
|
|
||||||
| `List_ListLength` | 获取列表长度 |
|
|
||||||
| `List_ListSorted` | 列表排序 |
|
|
||||||
| `List_ListDuplication` | 列表去重 |
|
|
||||||
| `List_InsertList` | 新增列表项 |
|
|
||||||
| `List_ListIntersection` | 获取两列表的重复项 |
|
|
||||||
| `List_CreateList` | 创建列表 |
|
|
||||||
| `List_GetListItem` | 获取指定位置项的数据 |
|
|
||||||
| `List_SetListItem` | 修改指定位置项的数据 |
|
|
||||||
| `Log_Error` | 打印错误日志 |
|
|
||||||
| `Log_Info` | 打印普通日志 |
|
|
||||||
| `Mail_UnmarkSeen` | 标为未读 |
|
|
||||||
| `Mail_DoReplyMail_v1` | 回复邮件(Outlook) |
|
|
||||||
| `Mail_RecvConnect` | 连接邮箱 |
|
|
||||||
| `Mail_RecvMailGet` | 取第几封邮件 |
|
|
||||||
| `Mail_ExOperateMail` | 操作邮件 |
|
|
||||||
| `Mail_OperateMail` | 操作邮件 |
|
|
||||||
| `Mail_RecvGetList` | 邮件筛选 |
|
|
||||||
| `Mail_ReplyMail_v2` | 回复邮件 |
|
|
||||||
| `Mail_DoReplyMail` | 回复邮件 |
|
|
||||||
| `Mail_Send_V1` | 发送邮件 |
|
|
||||||
| `Mail_DoSendMail` | 发送邮件 |
|
|
||||||
| `Mail_ExSendMail` | 发送邮件 |
|
|
||||||
| `Mail_FindMail_v1` | 查找邮件 |
|
|
||||||
| `Mail_ExSearchMail` | 查找邮件 |
|
|
||||||
| `Mail_DoMoveMail` | 移动邮件 |
|
|
||||||
| `Mail_ExConnect` | 连接Exchange邮箱 |
|
|
||||||
| `Mail_RecvCount` | 取收件箱邮件数 |
|
|
||||||
| `Mail_DoGetMailMessage_v2` | 获取邮件(Outlook) |
|
|
||||||
| `Mail_DoGetMailMessage_v1` | 查找邮件(Outlook) |
|
|
||||||
| `Mail_FindMail_v2` | 获取邮件 |
|
|
||||||
| `Mail_DoGetMailMessage` | 查看邮件 |
|
|
||||||
| `Mail_MarkSeen` | 标为已读 |
|
|
||||||
| `Mail_DoMoveMail_v1` | 操作邮件(Outlook) |
|
|
||||||
| `Mail_DoSendMail_v1` | 发送邮件(Outlook) |
|
|
||||||
| `Math_Cos` | 余弦值 |
|
|
||||||
| `Math_Tan` | 正切值 |
|
|
||||||
| `Math_Scale` | 进制转换 |
|
|
||||||
| `Math_Round` | 四舍五入 |
|
|
||||||
| `Math_Pow` | x的y次幂 |
|
|
||||||
| `Math_Int` | 取整 |
|
|
||||||
| `Math_Sqrt` | 平方根 |
|
|
||||||
| `Math_Oct` | 转8进制 |
|
|
||||||
| `Math_Sin` | 正弦值 |
|
|
||||||
| `Math_Abs` | 绝对值 |
|
|
||||||
| `Math_Hex` | 转16进制 |
|
|
||||||
| `Math_Exp` | e的n次幂 |
|
|
||||||
| `Math_Sgn` | 取正负符号 |
|
|
||||||
| `MessageNotification_Feishu_Message` | 发送消息至飞书 |
|
|
||||||
| `MessageNotification_DingTalk_Message` | 发送消息至钉钉 |
|
|
||||||
| `MessageNotification_WXWork_Message` | 发送消息至企业微信 |
|
|
||||||
| `Mouse_ClickCombine_v4` | 鼠标点击 |
|
|
||||||
| `Mouse_DragToNew` | 鼠标拖拽 |
|
|
||||||
| `Mouse_RollTo` | 鼠标滚动 |
|
|
||||||
| `Mouse_MoveToV2` | 移动鼠标 |
|
|
||||||
| `NLP_BatchAnalyseProductReview` | 商品评论分析（批量） |
|
|
||||||
| `NLP_KeyWordsAnalysis` | 关键词 |
|
|
||||||
| `NLP_EmotionalAnalysis` | 情感分析 |
|
|
||||||
| `NLP_SplitText` | 实体抽取 |
|
|
||||||
| `NLP_AnalyseProductReview` | 商品评论分析 |
|
|
||||||
| `NLP_SemanticSimilarity` | 语义相似度 |
|
|
||||||
| `NLP_SplitWords` | 分词 |
|
|
||||||
| `NLP_PerspectiveAnalysis` | 观点分析 |
|
|
||||||
| `NLP_XunFei_NLPBaseServer` | 第三方NLP模型 |
|
|
||||||
| `NLP_XunFei_MachineTranslation` | 机器翻译 |
|
|
||||||
| `NLP_XunFei_FeelingAnalysis` | 第三方情感分析模型 |
|
|
||||||
| `NLP_XunFei_KeywordExtraction` | 关键字提取 |
|
|
||||||
| `OCR_MergeCardOCR` | 卡证文字识别 |
|
|
||||||
| `OCR_CalculationCode` | 算术验证码 |
|
|
||||||
| `OCR_IdCardV2` | OCR身份证 |
|
|
||||||
| `OCR_BusinessCardV2` | OCR名片 |
|
|
||||||
| `OCR_VehicleInvoiceV2` | OCR机动车发票 |
|
|
||||||
| `OCR_MergeOtherOCR` | 其他场景文字识别 |
|
|
||||||
| `OCR_BusinessLicenseV3` | OCR营业执照(自研) |
|
|
||||||
| `OCR_PassportV2` | OCR护照 |
|
|
||||||
| `OCR_MergeGeneralOCR` | 通用文字识别 |
|
|
||||||
| `OCR_KeyValueIdentification` | 识别键值对结构 |
|
|
||||||
| `OCR_AmountIdentification` | 识别价格金额 |
|
|
||||||
| `OCR_GeneralTextV2` | OCR高精度文本 |
|
|
||||||
| `OCR_VatInvoiceV2` | OCR增值税发票 |
|
|
||||||
| `OCR_DrivingLicenseV2` | OCR行驶证 |
|
|
||||||
| `OCR_AccountPageV2` | OCR户口页 |
|
|
||||||
| `OCR_PlateLicenseV2` | OCR车牌 |
|
|
||||||
| `OCR_BankCardV2` | OCR银行卡 |
|
|
||||||
| `OCR_BankCardV3` | OCR银行卡(自研) |
|
|
||||||
| `OCR_IdCardV3` | OCR身份证(自研) |
|
|
||||||
| `OCR_VatInvoiceV3` | OCR增值税发票(自研) |
|
|
||||||
| `OCR_MergePaperOCR` | 票据文字识别 |
|
|
||||||
| `OCR_DriverLicenseV2` | OCR驾驶证 |
|
|
||||||
| `OCR_RealEstateCertV2` | OCR不动产权证 |
|
|
||||||
| `OCR_TrainTicketV2` | OCR火车票 |
|
|
||||||
| `OCR_TaxiInvoiceV2` | OCR出租车发票 |
|
|
||||||
| `OCR_OfficialSealV2` | OCR公章 |
|
|
||||||
| `OCR_MergeCarOCR` | 汽车场景文字识别 |
|
|
||||||
| `OCR_MergeEducationOCR` | 教育场景文字识别 |
|
|
||||||
| `OCR_HouseCertV2` | OCR房产证 |
|
|
||||||
| `OCR_CommonEnglishNumbersCode` | 普通验证码 |
|
|
||||||
| `OCR_BusinessLicenseV2` | OCR营业执照 |
|
|
||||||
| `OCR_VinV2` | OCR车辆vin码 |
|
|
||||||
| `OcrOffline_GetOcrTextNew` | 图像OCR识别 |
|
|
||||||
| `OcrOffline_GetOcrTable` | 获取表格数据（OCR） |
|
|
||||||
| `OcrOffline_GetOcrTextPosition` | 图像OCR识别（含坐标） |
|
|
||||||
| `PDF_GetPdfInformation` | 获取 PDF 文档信息 |
|
|
||||||
| `PDF_SetPdfWaterMarkV1` | PDF 加水印 |
|
|
||||||
| `PDF_PdfEncryption` | 加密 PDF 文档 |
|
|
||||||
| `PDF_GetPdfImg` | 提取 PDF 图片 |
|
|
||||||
| `PDF_GetPdfPageNum` | 获取 PDF 总页数 |
|
|
||||||
| `PDF_ConcatPdfV1` | 合并 PDF 文档 |
|
|
||||||
| `PDF_GetPdfTable` | 读取 PDF 表格 |
|
|
||||||
| `PDF_PdfToImg` | PDF 转图片 |
|
|
||||||
| `PDF_CreateNewPdf` | 生成新的 PDF 文档 |
|
|
||||||
| `PDF_GetPdfText` | 读取 PDF 文本 |
|
|
||||||
| `Regex_Test` | 匹配判断 |
|
|
||||||
| `Regex_FindAll` | 全部查找 |
|
|
||||||
| `Regex_FindNew_1` | 文本内容提取（指定） |
|
|
||||||
| `Regex_FindStr` | 文本内容提取 |
|
|
||||||
| `Regex_FindNew` | 指定查找 |
|
|
||||||
| `Regex_FindAllNew` | 文本内容提取（全部） |
|
|
||||||
| `Regex_TestNew` | 判断文本匹配 |
|
|
||||||
| `Regex_FindStrV1` | 提取文本内容 |
|
|
||||||
| `Scenario_TextComparison` | 文档比对 |
|
|
||||||
| `ScreenControl_Screenlock` | 屏幕锁屏 |
|
|
||||||
| `ScreenControl_ScreenUnlock` | 唤醒屏幕（非登录解锁） |
|
|
||||||
| `StrUtil_InStr` | 查找 |
|
|
||||||
| `StrUtil_ListToString` | 列表聚合成文本 |
|
|
||||||
| `StrUtil_CharCode` | 将ASCII码转换为文本 |
|
|
||||||
| `StrUtil_CutOutStrV1` | 截取文本 |
|
|
||||||
| `StrUtil_CreateRandomStr` | 创建随机文本 |
|
|
||||||
| `StrUtil_SplitStr` | 分割文本为列表 |
|
|
||||||
| `StrUtil_Split` | 分割字符串 |
|
|
||||||
| `StrUtil_CaseChange` | 转换大小写 |
|
|
||||||
| `StrUtil_AddToStr` | 追加文本 |
|
|
||||||
| `StrUtil_Rtrim` | 裁剪右侧空格 |
|
|
||||||
| `StrUtil_DelTrim` | 去除文本两端空格 |
|
|
||||||
| `StrUtil_Trim` | 裁剪两侧空格 |
|
|
||||||
| `StrUtil_LowerCase` | 字母转小写 |
|
|
||||||
| `StrUtil_LookUpStr` | 查找文本 |
|
|
||||||
| `StrUtil_ReverseStr` | 反转文本 |
|
|
||||||
| `StrUtil_UpperCase` | 字母转大写 |
|
|
||||||
| `StrUtil_Mid` | 取中间内容 |
|
|
||||||
| `StrUtil_CharAsc` | 将文本转换为ASCII码 |
|
|
||||||
| `StrUtil_CompleteStr` | 补齐文本 |
|
|
||||||
| `StrUtil_Replace` | 替换文本 |
|
|
||||||
| `StrUtil_Left` | 取左侧内容 |
|
|
||||||
| `StrUtil_Ltrim` | 裁剪左侧空格 |
|
|
||||||
| `StrUtil_Len` | 获取文本长度 |
|
|
||||||
| `StrUtil_Right` | 取右侧内容 |
|
|
||||||
| `System_GetEnv` | 获取环境变量 |
|
|
||||||
| `System_ReadCredential` | 获取Windows凭据 |
|
|
||||||
| `System_GetTempPath` | 获取临时文件夹路径 |
|
|
||||||
| `System_GetHomePath` | 获取用户文件夹路径 |
|
|
||||||
| `System_GetSystemPath` | 获取系统文件夹路径 |
|
|
||||||
| `System_SetEnv` | 设置环境变量 |
|
|
||||||
| `System_GetInputMethodState` | 获取输入法状态 |
|
|
||||||
| `System_ConnectRemoteDesktop` | 连接远程桌面 |
|
|
||||||
| `System_AddCredential` | 添加Windows凭据 |
|
|
||||||
| `System_SetInputMethodState` | 设置输入法状态 |
|
|
||||||
| `System_CloseRemoteDesktop` | 关闭远程连接 |
|
|
||||||
| `System_ScreenSaverShowV1` | 开启屏保 |
|
|
||||||
| `System_ExecuteCommandV1` | 执行命令行 |
|
|
||||||
| `System_DeleteCredential` | 删除Windows凭据 |
|
|
||||||
| `System_ScreenSaverStop` | 关闭屏保 |
|
|
||||||
| `System_PlaySound` | 播放音频 |
|
|
||||||
| `Time_GetDateV2` | 获取日期时间 |
|
|
||||||
| `Time_CalDate` | 计算时长 |
|
|
||||||
| `Time_WeekDay` | 取星期 |
|
|
||||||
| `Time_Day` | 取第几天 |
|
|
||||||
| `Time_Date` | 取日期 |
|
|
||||||
| `Time_FormatNew` | 将时间戳转换为日期/时间 |
|
|
||||||
| `Time_Hour` | 取时 |
|
|
||||||
| `Time_DateOffset_V1` | 增加/减少时间 |
|
|
||||||
| `Time_GetDatetimeObj` | 获取日期时间信息 |
|
|
||||||
| `Time_Format` | 时间戳转时间 |
|
|
||||||
| `Time_DatetimeToTimestamp` | 时间转时间戳 |
|
|
||||||
| `Time_TimeStamp` | 取时间戳 |
|
|
||||||
| `Time_TimeTypeConversion_V1` | 转换日期时间格式 |
|
|
||||||
| `Time_DateToTimestamp` | 将日期/时间转换为时间戳 |
|
|
||||||
| `Time_Month` | 取月份 |
|
|
||||||
| `Time_Time` | 取时分秒 |
|
|
||||||
| `Time_Year` | 取年份 |
|
|
||||||
| `Time_TimeTypeConversion` | 日期时间格式转换 |
|
|
||||||
| `Time_Now` | 取时间 |
|
|
||||||
| `Time_Second` | 取秒 |
|
|
||||||
| `Time_Minute` | 取分 |
|
|
||||||
| `WebBrowser_Switch_V1` | 切换页面 |
|
|
||||||
| `WebBrowser_SetScrollPos_V1` | 设置滚动条位置 |
|
|
||||||
| `WebBrowser_GetTAB_V2` | 获取网页 Tab 对象 |
|
|
||||||
| `WebBrowser_SaveAs_V1` | 下载文件（点击按钮） |
|
|
||||||
| `WebBrowser_GetWeblistening` | 获取监听结果 |
|
|
||||||
| `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_RunJsInIeBySelector_v3` | 执行JS |
|
|
||||||
| `WebBrowser_RunJsInIeBySelectorGround` | 执行JS |
|
|
||||||
| `WebBrowser_CreateV3` | 打开网页 |
|
|
||||||
| `WebBrowser_Reload` | 刷新 |
|
|
||||||
| `WebBrowser_CloseWeb_V2` | 关闭网页 |
|
|
||||||
| `WebBrowser_Stop` | 停止网页加载 |
|
|
||||||
| `WebBrowser_GetDocument` | 获取网页源码 |
|
|
||||||
| `WebBrowser_GetCookie` | 获取Cookies（指定） |
|
|
||||||
| `WebBrowser_DownFile_V1` | 下载文件（指定链接） |
|
|
||||||
| `WebBrowser_DownloadFile_V1` | 下载文件 |
|
|
||||||
| `WebBrowser_GetCookieNew` | 获取完整Cookies |
|
|
||||||
| `WebBrowser_GetBrowserPicV1` | 浏览器截图 |
|
|
||||||
| `WebBrowser_GetTAB` | 获取Tab页 |
|
|
||||||
| `WebBrowser_Close_V1` | 关闭浏览器 |
|
|
||||||
| `WebBrowser_Maximize` | 最大化浏览器 |
|
|
||||||
| `WebBrowser_GoForward` | 前进 |
|
|
||||||
| `WebBrowser_SetCookies` | 设置Cookies |
|
|
||||||
| `WebBrowser_StartWeblistening` | 启动网页监听 |
|
|
||||||
| `WebBrowser_Wait` | 等待网页加载 |
|
|
||||||
| `WebBrowser_UploadDialog` | 处理上传对话框 |
|
|
||||||
| `WebBrowser_DataCrawler` | 爬取数据 |
|
|
||||||
| `WebBrowser_StopWeblistening` | 停止网页监听 |
|
|
||||||
| `WebBrowser_SetCookies_V1` | 设置Cookie |
|
|
||||||
| `WebBrowser_GetTitle` | 获取Title |
|
|
||||||
| `WebBrowser_GetScrollPos_V1` | 获取滚动条位置 |
|
|
||||||
| `WebBrowser_GoBack` | 后退 |
|
|
||||||
| `WebBrowser_GoUrl` | 跳转网页 |
|
|
||||||
| `WebBrowser_BatchDataCrawl` | 批量数据采集（beta） |
|
|
||||||
| `WebBrowser_GetUrl` | 获取URL |
|
|
||||||
| `WebBrowser_GetCookies` | 获取Cookies |
|
|
||||||
| `WebBrowser_Minimize` | 最小化浏览器 |
|
|
||||||
| `Window_SizeWindow_v1` | 调整窗口大小 |
|
|
||||||
| `Window_SetWindowState_v1` | 设置窗口状态 |
|
|
||||||
| `Window_GetWindowRect` | 获取窗口范围 |
|
|
||||||
| `Window_CloseWindow` | 关闭软件窗口 |
|
|
||||||
| `Window_GetActive` | 获取活动窗口 |
|
|
||||||
| `Window_ActiveWindow_v1` | 激活窗口 |
|
|
||||||
| `Window_WindowExists` | 判断窗口存在 |
|
|
||||||
| `Window_Get` | 获取窗口 |
|
|
||||||
| `Window_SetPos` | 设置窗口 |
|
|
||||||
| `Window_GetWindow_v1` | 获取窗口对象 |
|
|
||||||
| `Window_CloseWindow_v1` | 关闭窗口 |
|
|
||||||
| `Window_GetWindowMessage_v1` | 获取窗口信息 |
|
|
||||||
| `Window_MoveWindow_v1` | 移动窗口位置 |
|
|
||||||
| `Window_ActiveWindow` | 激活软件窗口 |
|
|
||||||
| `Window_GetScreenSize` | 获取屏幕尺寸 |
|
|
||||||
| `Window_SetWindowShow` | 设置窗口是否显示 |
|
|
||||||
| `Window_WindowList` | 获取窗口对象列表 |
|
|
||||||
| `Window_GetRect` | 窗口属性 |
|
|
||||||
| `Window_MaximumSize` | 窗口最大化 |
|
|
||||||
| `Window_WaitWindow` | 等待窗口 |
|
|
||||||
| `Word_ReadSelect` | 读取选中文本 |
|
|
||||||
| `Word_SaveAs` | Word另存为 |
|
|
||||||
| `Word_SetFontName` | 设置字体 |
|
|
||||||
| `Word_CutSelect` | 剪切 |
|
|
||||||
| `Word_ReadAll` | 读取Word文本 |
|
|
||||||
| `Word_InsertPicture` | 插入Word图片 |
|
|
||||||
| `Word_SetFontStyle` | 设置字体样式 |
|
|
||||||
| `Word_New` | 新建word |
|
|
||||||
| `Word_SetAlign` | 设置对齐方式 |
|
|
||||||
| `Word_Save` | 保存Word |
|
|
||||||
| `Word_ReadTable` | 读取Word表格 |
|
|
||||||
| `Word_New_V1` | 新建Word文档 |
|
|
||||||
| `Word_Open` | 打开Word文档 |
|
|
||||||
| `Word_SelectRow` | 选择行 |
|
|
||||||
| `Word_GetPath` | 获取Word路径 |
|
|
||||||
| `Word_DeleteSelect` | 删除 |
|
|
||||||
| `Word_SetPosition` | 设置光标位置 |
|
|
||||||
| `Word_Write` | 写入文字至Word |
|
|
||||||
| `Word_PositionToSelect` | 查找文本后设置光标位置 |
|
|
||||||
| `Word_Close` | 关闭Word |
|
|
||||||
| `Word_MovePosition` | 移动光标位置 |
|
|
||||||
| `Word_SetFontColor` | 设置字体颜色 |
|
|
||||||
| `Word_CopySelect` | 复制 |
|
|
||||||
| `Word_PasteSelect` | 粘贴 |
|
|
||||||
| `Word_Replace` | 替换 |
|
|
||||||
| `Word_WriteTable` | 插入Word表格 |
|
|
||||||
| `Word_Enter` | 回车 |
|
|
||||||
| `Word_SetFontSize` | 设置字体大小 |
|
|
||||||
| `Word_SelectAll` | 全选 |
|
|
||||||
| `Word_InsertPage` | 插入分页符 |
|
|
||||||
|
|
||||||
## 隐藏重复能力
|
|
||||||
|
|
||||||
| 隐藏 ID | 保留主能力 | 名称 |
|
|
||||||
|---|---|---|
|
|
||||||
| `Basic_SetVariable` | `Basic_SetVariable_V1` | 设置变量 |
|
|
||||||
| `App_Kill` | `App_KillV1` | 关闭应用程序 |
|
|
||||||
| `Basic_Delay_V1` | `Basic_Delay_V2` | 等待 |
|
|
||||||
| `Basic_Rnd` | `Basic_RandomInt` | 生成随机数 |
|
|
||||||
| `Bivartable_CreateDf` | `Bivartable_CreateDfV1` | 创建数据表格 |
|
|
||||||
| `Bivartable_ReadDfData` | `Bivartable_ReadDfData_V1` | 读取数据 |
|
|
||||||
| `CSV_Read` | `CSV_ReadNew` | 读取内容 |
|
|
||||||
| `CSV_Write` | `CSV_WriteNew` | 写入内容 |
|
|
||||||
| `Element_SetValue` | `Element_SetValue_V1` | 文本输入 |
|
|
||||||
| `Element_Click` | `Element_Click_V1` | 元素点击 |
|
|
||||||
| `Database_AllSQLQuery` | `Database_AllSQLQuery_V1` | 执行全SQL查询 |
|
|
||||||
| `Dialog_InputBox` | `Dialog_CsInputBox` | 输入对话框 |
|
|
||||||
| `Dialog_GetConfigV5` | `Dialog_GetConfigV7` | 人机交互表单 |
|
|
||||||
| `Dialog_Notice_V1` | `Dialog_Notice_V2` | 消息通知 |
|
|
||||||
| `Dialog_Notice` | `Dialog_Notice_V2` | 消息通知 |
|
|
||||||
| `Dialog_GetConfigV6` | `Dialog_GetConfigV8` | 自定义对话框 |
|
|
||||||
| `Dialog_GetConfigV4` | `Dialog_GetConfigV8` | 自定义对话框 |
|
|
||||||
| `Dialog_GetConfigV3` | `Dialog_GetConfigV8` | 自定义对话框 |
|
|
||||||
| `Dialog_GetConfigV2` | `Dialog_GetConfigV8` | 自定义对话框 |
|
|
||||||
| `Dialog_GetConfigV1` | `Dialog_GetConfigV8` | 自定义对话框 |
|
|
||||||
| `Dialog_MsgBox` | `Dialog_CsMsgBox` | 消息确认对话框 |
|
|
||||||
| `Element_SetValuePassword` | `Element_SetValuePassword_V1` | 输入密码框 |
|
|
||||||
| `Element_Region2_v2` | `Element_Region2_v3` | 获取元素坐标 |
|
|
||||||
| `Element_Region2_v1` | `Element_Region2_v3` | 获取元素坐标 |
|
|
||||||
| `Element_Region` | `Element_Region2_v3` | 获取元素坐标 |
|
|
||||||
| `Element_Region2` | `Element_Region2_v3` | 获取元素坐标 |
|
|
||||||
| `Element_SelectOperation_v2` | `Element_SelectOperation_v3` | 下拉框操作 |
|
|
||||||
| `Element_SelectOperation_v1` | `Element_SelectOperation_v3` | 下拉框操作 |
|
|
||||||
| `Element_SelectOperation` | `Element_SelectOperation_v3` | 下拉框操作 |
|
|
||||||
| `Element_Sibling_V1` | `Element_Sibling_V2` | 获取兄弟元素 |
|
|
||||||
| `Element_Sibling` | `Element_Sibling_V2` | 获取兄弟元素 |
|
|
||||||
| `Element_Children_V1` | `Element_Children_V2` | 获取子元素 |
|
|
||||||
| `Element_ChildrenV1` | `Element_Children_V2` | 获取子元素 |
|
|
||||||
| `Element_Children` | `Element_Children_V2` | 获取子元素 |
|
|
||||||
| `Element_DesktopChildren` | `Element_ChildrenGround` | 获取子元素 |
|
|
||||||
| `Element_ElementCaptureSimilar` | `Element_ElementAarray` | 获取相似元素数组 |
|
|
||||||
| `Element_SetAttribute_v1` | `Element_SetAttribute_v2` | 设置网页元素属性 |
|
|
||||||
| `Element_SetAttribute` | `Element_SetAttribute_v2` | 设置网页元素属性 |
|
|
||||||
| `Element_WaitElement_v4` | `Element_WaitElement_v5` | 等待元素 |
|
|
||||||
| `Element_WaitElement_v3` | `Element_WaitElement_v5` | 等待元素 |
|
|
||||||
| `Element_WaitElement_v2` | `Element_WaitElement_v5` | 等待元素 |
|
|
||||||
| `Element_WaitElement_v1` | `Element_WaitElement_v5` | 等待元素 |
|
|
||||||
| `Element_WaitElement` | `Element_WaitElement_v5` | 等待元素 |
|
|
||||||
| `Element_ScrollIntoView_v1` | `Element_ScrollIntoView_v2` | 滚动页面 |
|
|
||||||
| `Element_ScrollIntoView` | `Element_ScrollIntoView_v2` | 滚动页面 |
|
|
||||||
| `Element_MouseTo_V3` | `Element_MouseTo_V4` | 鼠标移动到元素上 |
|
|
||||||
| `Element_MouseTo_V2` | `Element_MouseTo_V4` | 鼠标移动到元素上 |
|
|
||||||
| `Element_MouseTo_V1` | `Element_MouseTo_V4` | 鼠标移动到元素上 |
|
|
||||||
| `Element_MouseTo` | `Element_MouseTo_V4` | 鼠标移动到元素上 |
|
|
||||||
| `Element_Click_V5` | `Element_Click_V6` | 点击界面元素 |
|
|
||||||
| `Element_Click_V4` | `Element_Click_V6` | 点击界面元素 |
|
|
||||||
| `Element_Click_V3` | `Element_Click_V6` | 点击界面元素 |
|
|
||||||
| `Element_Click_V2` | `Element_Click_V6` | 点击界面元素 |
|
|
||||||
| `Element_Parent_V1` | `Element_Parent_V2` | 获取父元素 |
|
|
||||||
| `Element_Parent` | `Element_Parent_V2` | 获取父元素 |
|
|
||||||
| `Element_SetValue_V2` | `Element_SetValue_V3` | 输入文本框 |
|
|
||||||
| `Element_GetButtonEnable_v3` | `Element_GetButtonEnable_v4` | 判断元素是否可点击 |
|
|
||||||
| `Element_GetButtonEnable_v2` | `Element_GetButtonEnable_v4` | 判断元素是否可点击 |
|
|
||||||
| `Element_GetButtonEnable_v1` | `Element_GetButtonEnable_v4` | 判断元素是否可点击 |
|
|
||||||
| `Element_GetButtonEnable` | `Element_GetButtonEnable_v4` | 判断元素是否可点击 |
|
|
||||||
| `Element_SetValue_V5` | `Element_SetValue_V6` | 输入文本 |
|
|
||||||
| `Element_SetValue_V4` | `Element_SetValue_V6` | 输入文本 |
|
|
||||||
| `Element_GetText_V4` | `Element_GetText_V5` | 获取界面元素文本 |
|
|
||||||
| `Element_GetText_V3` | `Element_GetText_V5` | 获取界面元素文本 |
|
|
||||||
| `Element_GetText_V2` | `Element_GetText_V5` | 获取界面元素文本 |
|
|
||||||
| `Element_GetText` | `Element_GetText_V5` | 获取界面元素文本 |
|
|
||||||
| `Element_SimilarElementList_V1` | `Element_SimilarElementList_V2` | 获取相似元素列表 |
|
|
||||||
| `Element_SimilarElementList` | `Element_SimilarElementList_V2` | 获取相似元素列表 |
|
|
||||||
| `Element_Shot_V1` | `Element_Shot_V2` | 元素截图 |
|
|
||||||
| `Element_Shot` | `Element_Shot_V2` | 元素截图 |
|
|
||||||
| `Element_CheckBoxOperation_v2` | `Element_CheckBoxOperation_v3` | 勾选框操作 |
|
|
||||||
| `Element_CheckBoxOperation_v1` | `Element_CheckBoxOperation_v3` | 勾选框操作 |
|
|
||||||
| `Element_CheckBoxOperation` | `Element_CheckBoxOperation_v3` | 勾选框操作 |
|
|
||||||
| `Element_GetAttribute_v2` | `Element_GetAttribute_v3` | 获取网页元素属性 |
|
|
||||||
| `Element_GetAttribute_v1` | `Element_GetAttribute_v3` | 获取网页元素属性 |
|
|
||||||
| `Element_GetAttribute` | `Element_GetAttribute_v3` | 获取网页元素属性 |
|
|
||||||
| `Element_SetValuePassword_V5` | `Element_SetValuePassword_V6` | 输入密码 |
|
|
||||||
| `Element_GetElementV2` | `Element_GetElementNew` | 获取元素对象 |
|
|
||||||
| `Element_GetElementV1` | `Element_GetElementNew` | 获取元素对象 |
|
|
||||||
| `Element_GetElement` | `Element_GetElementNew` | 获取元素对象 |
|
|
||||||
| `Element_GetElementInfo` | `Element_GetElementInfo_V1` | 获取元素信息 |
|
|
||||||
| `Excel_Cs_WriteColumn` | `Excel_WriteColumnNew` | 写入列 |
|
|
||||||
| `Excel_WriteColumn` | `Excel_WriteColumnNew` | 写入列 |
|
|
||||||
| `Excel_Cs_SetCellFormat_V2` | `Excel_Cs_SetCellFormat_V3` | 设置单元格格式 |
|
|
||||||
| `Excel_Cs_SetCellFormat` | `Excel_Cs_SetCellFormat_V3` | 设置单元格格式 |
|
|
||||||
| `Excel_Cs_ReadContentV3` | `Excel_Cs_ReadContentV4` | 读取Excel内容 |
|
|
||||||
| `Excel_Cs_ReadContentV2` | `Excel_Cs_ReadContentV4` | 读取Excel内容 |
|
|
||||||
| `Excel_Cs_ReadContent` | `Excel_Cs_ReadContentV4` | 读取Excel内容 |
|
|
||||||
| `Excel_Cs_AutoFill` | `Excel_Cs_AutoFillV2` | 自动填充 |
|
|
||||||
| `Excel_Cs_Copy` | `Excel_Cs_CopyV2` | 复制Sheet |
|
|
||||||
| `Excel_Cs_WriteRangeV2` | `Excel_WriteRangeNew` | 写入区域 |
|
|
||||||
| `Excel_Cs_WriteRange` | `Excel_WriteRangeNew` | 写入区域 |
|
|
||||||
| `Excel_WriteRange` | `Excel_WriteRangeNew` | 写入区域 |
|
|
||||||
| `Excel_DeleteColumn` | `Excel_Cs_DeleteColumn` | 删除列 |
|
|
||||||
| `Excel_Cs_OpenV3` | `Excel_Cs_OpenV4` | 打开Excel |
|
|
||||||
| `Excel_Cs_OpenV2` | `Excel_Cs_OpenV4` | 打开Excel |
|
|
||||||
| `Excel_Cs_Open` | `Excel_Cs_OpenV4` | 打开Excel |
|
|
||||||
| `Excel_OpenExcel` | `Excel_OpenExcelNew` | 打开excel |
|
|
||||||
| `Excel_Cs_ClearRangeV3` | `Excel_Cs_ClearRangeV4` | 清除区域 |
|
|
||||||
| `Excel_Cs_ClearRangeV2` | `Excel_Cs_ClearRangeV4` | 清除区域 |
|
|
||||||
| `Excel_ClearRange` | `Excel_Cs_ClearRangeV4` | 清除区域 |
|
|
||||||
| `Excel_Cs_ClearRange` | `Excel_Cs_ClearRangeV4` | 清除区域 |
|
|
||||||
| `Excel_Cs_InsertColumnV2` | `Excel_Cs_InsertColumnV3` | 插入列 |
|
|
||||||
| `Excel_Cs_InsertColumn` | `Excel_Cs_InsertColumnV3` | 插入列 |
|
|
||||||
| `Excel_InsertColumn` | `Excel_Cs_InsertColumnV3` | 插入列 |
|
|
||||||
| `Excel_GetRowsCount` | `Excel_Cs_ReadRowCount` | 读取行数 |
|
|
||||||
| `Excel_GetColumnsCount` | `Excel_Cs_ReadColumnCount` | 读取列数 |
|
|
||||||
| `Excel_Cs_ReadCell` | `Excel_ReadCellNew` | 读取单元格 |
|
|
||||||
| `Excel_ReadCell` | `Excel_ReadCellNew` | 读取单元格 |
|
|
||||||
| `Excel_Cs_WriteCellV2` | `Excel_WriteCellNew` | 写入单元格 |
|
|
||||||
| `Excel_Cs_WriteCell` | `Excel_WriteCellNew` | 写入单元格 |
|
|
||||||
| `Excel_WriteCell` | `Excel_WriteCellNew` | 写入单元格 |
|
|
||||||
| `Excel_Cs_SetRangeFont` | `Excel_Cs_SetRangeFontV2` | 设置区域字体颜色 |
|
|
||||||
| `Excel_Cs_DeletePicture` | `Excel_Cs_DeletePictureV2` | 删除图片 |
|
|
||||||
| `Excel_DeleteImage` | `Excel_Cs_DeletePictureV2` | 删除图片 |
|
|
||||||
| `Excel_Cs_New` | `Excel_Cs_NewV5` | 新建Excel |
|
|
||||||
| `Excel_Cs_NewV4` | `Excel_Cs_NewV5` | 新建Excel |
|
|
||||||
| `Excel_Cs_NewV3` | `Excel_Cs_NewV5` | 新建Excel |
|
|
||||||
| `Excel_Cs_NewV2` | `Excel_Cs_NewV5` | 新建Excel |
|
|
||||||
| `Excel_Cs_ReadColumn` | `Excel_GetColDataNew` | 读取列 |
|
|
||||||
| `Excel_GetColData` | `Excel_GetColDataNew` | 读取列 |
|
|
||||||
| `Excel_Cs_InsertRowV2` | `Excel_Cs_InsertRowV3` | 插入行 |
|
|
||||||
| `Excel_Cs_InsertRow` | `Excel_Cs_InsertRowV3` | 插入行 |
|
|
||||||
| `Excel_InsertRow` | `Excel_Cs_InsertRowV3` | 插入行 |
|
|
||||||
| `Excel_Cs_SetHeight` | `Excel_Cs_SetHeightV1` | 设置行高 |
|
|
||||||
| `Excel_SetRowHeight` | `Excel_Cs_SetHeightV1` | 设置行高 |
|
|
||||||
| `Excel_Cs_DeleteRangeV2` | `Excel_Cs_DeleteRangeV3` | 删除区域 |
|
|
||||||
| `Excel_Cs_DeleteRange` | `Excel_Cs_DeleteRangeV3` | 删除区域 |
|
|
||||||
| `Excel_DeleteRange` | `Excel_Cs_DeleteRangeV3` | 删除区域 |
|
|
||||||
| `Excel_GetPath` | `Excel_Cs_GetPath` | 获取Excel路径 |
|
|
||||||
| `Excel_DeleteRow` | `Excel_Cs_DeleteRow` | 删除行 |
|
|
||||||
| `Excel_Cs_ReadRangeV2` | `Excel_ReadRangeNew` | 读取区域 |
|
|
||||||
| `Excel_Cs_ReadRange` | `Excel_ReadRangeNew` | 读取区域 |
|
|
||||||
| `Excel_ReadRange` | `Excel_ReadRangeNew` | 读取区域 |
|
|
||||||
| `Excel_Cs_InsertPicture` | `Excel_Cs_InsertPictureV2` | 插入图片 |
|
|
||||||
| `Excel_InsertImage` | `Excel_Cs_InsertPictureV2` | 插入图片 |
|
|
||||||
| `Excel_Cs_CopyRangeV2` | `Excel_Cs_CopyRangeV3` | 复制表格内容 |
|
|
||||||
| `Excel_Cs_CopyRange` | `Excel_Cs_CopyRangeV3` | 复制表格内容 |
|
|
||||||
| `Excel_Cs_SetWidth` | `Excel_Cs_SetWidthV1` | 设置列宽 |
|
|
||||||
| `Excel_SetColumnWidth` | `Excel_Cs_SetWidthV1` | 设置列宽 |
|
|
||||||
| `Excel_Cs_RunMacro` | `Excel_Cs_RunMacroV2` | 执行宏 |
|
|
||||||
| `Excel_ExecuteMacro` | `Excel_Cs_RunMacroV2` | 执行宏 |
|
|
||||||
| `Excel_Cs_Find` | `Excel_Cs_FindV2` | Excel查找/替换 |
|
|
||||||
| `Excel_Cs_WriteRowV2` | `Excel_WriteRowNew` | 写入行 |
|
|
||||||
| `Excel_Cs_WriteRow` | `Excel_WriteRowNew` | 写入行 |
|
|
||||||
| `Excel_WriteRow` | `Excel_WriteRowNew` | 写入行 |
|
|
||||||
| `Excel_Cs_ReadRow` | `Excel_GetRowDataNew` | 读取行 |
|
|
||||||
| `Excel_GetRowData` | `Excel_GetRowDataNew` | 读取行 |
|
|
||||||
| `Excel_Cs_MergeCells` | `Excel_Cs_MergeCellsV2` | 合并单元格 |
|
|
||||||
| `Excel_Cs_Close` | `Excel_Cs_CloseV2` | 关闭Excel |
|
|
||||||
| `Excel_Cs_SelectRangeV2` | `Excel_Cs_SelectRangeV3` | 选中区域 |
|
|
||||||
| `Excel_Cs_SelectRange` | `Excel_Cs_SelectRangeV3` | 选中区域 |
|
|
||||||
| `Excel_SelectRange` | `Excel_Cs_SelectRangeV3` | 选中区域 |
|
|
||||||
| `Excel_Cs_PastRange` | `Excel_Cs_PastRangeV2` | 粘贴表格内容 |
|
|
||||||
| `Excel_Cs_ColumnSplit` | `Excel_Cs_ColumnSplitV2` | Excel分列 |
|
|
||||||
| `Excel_Cs_Sort` | `Excel_Cs_SortV1` | Excel数据排序 |
|
|
||||||
| `Excel_Cs_SetRangeBackground` | `Excel_Cs_SetRangeBackgroundV2` | 设置区域背景颜色 |
|
|
||||||
| `Excel_Cs_Load` | `Excel_Cs_LoadV2` | 获取已打开Excel |
|
|
||||||
| `File_GetFileList` | `File_GetFileList_V1` | 获取文件列表 |
|
|
||||||
| `File_Write` | `File_Write_V1` | 写入文件 |
|
|
||||||
| `File_MakeFolder` | `File_MakeDir` | 创建文件夹 |
|
|
||||||
| `File_GetFolderList` | `File_GetFolderList_V1` | 获取文件夹列表 |
|
|
||||||
| `Http_Post_V2` | `Http_Post_V3` | POST请求 |
|
|
||||||
| `Http_Post` | `Http_Post_V3` | POST请求 |
|
|
||||||
| `Http_Get_V1` | `Http_Get_V2` | GET请求 |
|
|
||||||
| `Http_Get` | `Http_Get_V2` | GET请求 |
|
|
||||||
| `Image_Click_V1` | `Image_Click_V2` | 点击图像 |
|
|
||||||
| `Image_Click` | `Image_Click_V2` | 点击图像 |
|
|
||||||
| `Image_Find` | `Image_Find_V1` | 查找图像 |
|
|
||||||
| `Image_Wait` | `Image_Wait_V1` | 等待图像 |
|
|
||||||
| `Image_Exists` | `Image_Exists_V1` | 判断图像 |
|
|
||||||
| `Image_Move` | `Image_Move_V1` | 移动到图像 |
|
|
||||||
| `Keyboard_DriveSend_V1` | `Keyboard_DriveSend_V2` | 键盘驱动输入 |
|
|
||||||
| `Keyboard_DriveSend` | `Keyboard_DriveSend_V2` | 键盘驱动输入 |
|
|
||||||
| `Keyboard_Send` | `Keyboard_Send_V1` | 键盘输入 |
|
|
||||||
| `Mail_UnionConnect` | `Mail_RecvConnect` | 连接邮箱 |
|
|
||||||
| `Mail_ReplyMail_v1` | `Mail_ReplyMail_v2` | 回复邮件 |
|
|
||||||
| `Mail_ReplyMail` | `Mail_ReplyMail_v2` | 回复邮件 |
|
|
||||||
| `Mail_UnionSend_v1` | `Mail_Send_V1` | 发送邮件 |
|
|
||||||
| `Mail_Send` | `Mail_Send_V1` | 发送邮件 |
|
|
||||||
| `Mail_UnionSend` | `Mail_Send_V1` | 发送邮件 |
|
|
||||||
| `Mail_FindMail` | `Mail_FindMail_v1` | 查找邮件 |
|
|
||||||
| `Mouse_ClickCombine_v3` | `Mouse_ClickCombine_v4` | 鼠标点击 |
|
|
||||||
| `Mouse_ClickCombine_v2` | `Mouse_ClickCombine_v4` | 鼠标点击 |
|
|
||||||
| `Mouse_ClickCombine_v1` | `Mouse_ClickCombine_v4` | 鼠标点击 |
|
|
||||||
| `Mouse_Click` | `Mouse_ClickCombine_v4` | 鼠标点击 |
|
|
||||||
| `Mouse_ClickCombine` | `Mouse_ClickCombine_v4` | 鼠标点击 |
|
|
||||||
| `Mouse_DragToV2` | `Mouse_DragToNew` | 鼠标拖拽 |
|
|
||||||
| `Mouse_DragToV1` | `Mouse_DragToNew` | 鼠标拖拽 |
|
|
||||||
| `Mouse_DragTo` | `Mouse_DragToNew` | 鼠标拖拽 |
|
|
||||||
| `Mouse_MoveToV1` | `Mouse_MoveToV2` | 移动鼠标 |
|
|
||||||
| `Mouse_MoveTo` | `Mouse_MoveToV2` | 移动鼠标 |
|
|
||||||
| `PDF_SetPdfWaterMark` | `PDF_SetPdfWaterMarkV1` | PDF 加水印 |
|
|
||||||
| `PDF_ConcatPdf` | `PDF_ConcatPdfV1` | 合并 PDF 文档 |
|
|
||||||
| `Regex_Find` | `Regex_FindNew` | 指定查找 |
|
|
||||||
| `StrUtil_CutOutStr` | `StrUtil_CutOutStrV1` | 截取文本 |
|
|
||||||
| `System_ScreenSaverShow` | `System_ScreenSaverShowV1` | 开启屏保 |
|
|
||||||
| `System_ExecuteCommand` | `System_ExecuteCommandV1` | 执行命令行 |
|
|
||||||
| `Time_GetDateV1` | `Time_GetDateV2` | 获取日期时间 |
|
|
||||||
| `Time_GetDate` | `Time_GetDateV2` | 获取日期时间 |
|
|
||||||
| `Time_DateOffset` | `Time_DateOffset_V1` | 增加/减少时间 |
|
|
||||||
| `WebBrowser_Switch` | `WebBrowser_Switch_V1` | 切换页面 |
|
|
||||||
| `WebBrowser_SetScrollPos` | `WebBrowser_SetScrollPos_V1` | 设置滚动条位置 |
|
|
||||||
| `WebBrowser_GetTAB_V1` | `WebBrowser_GetTAB_V2` | 获取网页 Tab 对象 |
|
|
||||||
| `WebBrowser_SaveAs` | `WebBrowser_SaveAs_V1` | 下载文件（点击按钮） |
|
|
||||||
| `WebBrowser_BatchDataCrawlNew` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_DataCollectionV4` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_DataCollectionV3` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_DataCollectionV2` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_BatchDataCrawlNewV1` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_DataCollectionV1` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_DataCollection` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_DataCrawl` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_DataCrawl_software` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_DataCrawl_web` | `WebBrowser_DataCollectionV5` | 数据采集 |
|
|
||||||
| `WebBrowser_RunJsInIeBySelector_v2` | `WebBrowser_RunJsInIeBySelector_v3` | 执行JS |
|
|
||||||
| `WebBrowser_RunJsInIeBySelector_v1` | `WebBrowser_RunJsInIeBySelector_v3` | 执行JS |
|
|
||||||
| `WebBrowser_RunJsInIeBySelector` | `WebBrowser_RunJsInIeBySelector_v3` | 执行JS |
|
|
||||||
| `WebBrowser_RunJsInIeByTitle` | `WebBrowser_RunJsInIeBySelector_v3` | 执行JS |
|
|
||||||
| `WebBrowser_CreateV2` | `WebBrowser_CreateV3` | 打开网页 |
|
|
||||||
| `WebBrowser_Create` | `WebBrowser_CreateV3` | 打开网页 |
|
|
||||||
| `WebBrowser_CreateBackground` | `WebBrowser_CreateV3` | 打开网页 |
|
|
||||||
| `WebBrowser_CloseWeb_V1` | `WebBrowser_CloseWeb_V2` | 关闭网页 |
|
|
||||||
| `WebBrowser_CloseWeb` | `WebBrowser_CloseWeb_V2` | 关闭网页 |
|
|
||||||
| `WebBrowser_DownFile` | `WebBrowser_DownFile_V1` | 下载文件（指定链接） |
|
|
||||||
| `WebBrowser_DownloadFile` | `WebBrowser_DownloadFile_V1` | 下载文件 |
|
|
||||||
| `WebBrowser_GetBrowserPic` | `WebBrowser_GetBrowserPicV1` | 浏览器截图 |
|
|
||||||
| `WebBrowser_Close` | `WebBrowser_Close_V1` | 关闭浏览器 |
|
|
||||||
| `WebBrowser_GetScrollPos` | `WebBrowser_GetScrollPos_V1` | 获取滚动条位置 |
|
|
||||||
| `Window_SizeWindow` | `Window_SizeWindow_v1` | 调整窗口大小 |
|
|
||||||
| `Window_SetWindowState` | `Window_SetWindowState_v1` | 设置窗口状态 |
|
|
||||||
| `Window_SetActive` | `Window_ActiveWindow_v1` | 激活窗口 |
|
|
||||||
| `Window_GetWindow` | `Window_GetWindow_v1` | 获取窗口对象 |
|
|
||||||
| `Window_Close` | `Window_CloseWindow_v1` | 关闭窗口 |
|
|
||||||
| `Window_GetWindowMessage` | `Window_GetWindowMessage_v1` | 获取窗口信息 |
|
|
||||||
| `Window_MoveWindow` | `Window_MoveWindow_v1` | 移动窗口位置 |
|
|
||||||
|
|
||||||
机器可读决策：`resources/capability-duplicates.json`。
|
|
||||||
@ -1,119 +0,0 @@
|
|||||||
# AI 拾取模型选型与 RPA 执行方案
|
|
||||||
|
|
||||||
## 结论
|
|
||||||
|
|
||||||
当前模型“只能识别控件”不是解析器写错，而是 OmniParser 的 icon detect 本身就是单类别模型。它适合解决“屏幕上有哪些可交互区域”，不适合直接回答“这是一个登录按钮还是搜索框”。
|
|
||||||
|
|
||||||
更合适的不是换一个全能小模型，而是分四层：
|
|
||||||
|
|
||||||
1. 视觉定位：YOLO/OmniParser 找 bbox，保证又快又能看到 UIA 看不到的区域。
|
|
||||||
2. 视觉语义：OCR 读取框内文本；必要时用小分类模型或图标匹配补充类别。
|
|
||||||
3. UIA 增强：用 AI bbox 中心回查 Windows UIA，拿到 `Name / ControlType / AutomationId / ClassName`。
|
|
||||||
4. RPA 执行：优先保存 UIA selector，AI bbox 只作为兜底坐标和运行时重定位依据。
|
|
||||||
|
|
||||||
这才是对齐实在这类产品的方向：AI 负责感知和定位，RPA 引擎负责稳定执行和状态反馈。
|
|
||||||
|
|
||||||
## 当前可试模型
|
|
||||||
|
|
||||||
模型已经放在 `D:\code\PRA-only-demo\temp\models`。同名 `*.labels.json` 已经配好，当前实验台会读取标签，不再显示“类别1/类别2”。
|
|
||||||
|
|
||||||
| 本地文件 | 来源 | 类别数 | 类别 | 速度/体积 | 适用场景 | License 风险 |
|
|
||||||
|---|---|---:|---|---|---|---|
|
|
||||||
| `omniparser-v1-fp16.onnx` | `onnx-community/OmniParser-icon_detect` | 1 | `控件` | 约 6 MB，测试约 0.8s | 可交互区域粗定位、基线对比 | 商用前复核 OmniParser/底模授权 |
|
|
||||||
| `amigo-ui-elements-yolov8.onnx` | `amigodev/ui-elements-detector-test` | 8 | `button/field/heading/iframe/image/label/link/text` | 约 12 MB，测试约 0.4s | 网页截图、轻量多类别试验 | 仓库未标 License，仅试验 |
|
|
||||||
| `webpage-element.onnx` | `OpenDILabCommunity/webpage_element_detection` | 8 | `button/field/heading/iframe/image/label/link/text` | 约 99 MB，测试约 1.5s | 网页 UI，准确率通常优于小模型 | Apache-2.0 |
|
|
||||||
| `android-ui-yolov8n.onnx` | `yasirfaizahmed/android_ui_detection_yolov8` | 21 | `TextButton/EditText/CheckBox/Switch/Toolbar` 等 | 约 12 MB，测试约 0.4s | 安卓/移动 UI；桌面也可当轻量 UI 分类基线 | Apache-2.0 |
|
|
||||||
| `macpaw-ui-elements-yolo11l.onnx` | `macpaw-research/yolov11l-ui-elements-detection` | 5 | `AXButton/AXDisclosureTriangle/AXImage/AXLink/AXTextArea` | 约 102 MB，测试约 1.7s | 桌面/辅助功能导向，语义更接近可访问性控件 | AGPL-3.0，商用谨慎 |
|
|
||||||
| `resources/models/ui-element-detect/webpage-element.onnx` | OpenDILab webpage | 8 | `button/field/heading/iframe/image/label/link/text` | 当前默认，约 99 MB | 已实测并接入 Pane AI 拾取 | Apache-2.0 |
|
|
||||||
| `resources/models/ui-icon-detect/model.onnx` | OmniParser v2 icon detect | 1 | `控件` | 旧链路兼容回退 | 仅缺新模型时兜底 | 商用前复核 |
|
|
||||||
|
|
||||||
测试方式：打开“AI 识别实验台”，选择识别目标，点“选择 ONNX”，选择上表中的 `.onnx` 文件。确保同名 `.labels.json` 放在同一目录。
|
|
||||||
|
|
||||||
## 实测观察
|
|
||||||
|
|
||||||
同一张简单网页风格测试图：
|
|
||||||
|
|
||||||
- Android UI YOLOv8n：约 431ms，能识别 `TextButton`、`EditText`、`Text`，置信度普遍高。
|
|
||||||
- Amigo UI YOLOv8：约 430ms，能识别 `button`、`field`，框更整齐。
|
|
||||||
- OpenDILab webpage：约 1533ms，类别与 Amigo 相同，体积和耗时更大。
|
|
||||||
- MacPaw YOLO11l：约 1743ms，能识别 `AXButton`、`AXTextArea`，但对该测试图置信度偏低。
|
|
||||||
- OmniParser v1：约 781ms，只输出“控件”，定位能力可用但没有类别语义。
|
|
||||||
|
|
||||||
这组结果说明：轻量 YOLO 完全能做到实时/近实时，速度问题不是模型架构本身，而是模型大小、截图裁剪、进程通信和重复初始化共同决定的。
|
|
||||||
|
|
||||||
## 当前 RPA 可用性
|
|
||||||
|
|
||||||
当前 Pane AI 拾取生成：
|
|
||||||
|
|
||||||
```text
|
|
||||||
screen=x,y,width,height;window=...;name=OCR文本或类别;type=视觉类别;aiType=视觉类别;aiText=OCR文本;ai=1
|
|
||||||
```
|
|
||||||
|
|
||||||
`webpage-element.onnx` 先定位候选；PaddleOCR/PP-OCRv4 对同一张 Pane 截图做一次整图识别，并按几何关系把文本写回候选框。整图结果按截图 SHA-256 缓存，重复识别同一画面不会重复推理。执行层已经支持以 `screen=` 做坐标点击、坐标输入、坐标取值，所以“立刻执行一次”是可用的。
|
|
||||||
|
|
||||||
但只靠当前 selector 还不能算稳定 RPA 元素，原因是：
|
|
||||||
|
|
||||||
- `screen=` 是拾取瞬间的坐标快照。
|
|
||||||
- 窗口移动、页面滚动、分辨率/DPI 变化后会失效。
|
|
||||||
- `exists/wait` 目前对 `screen=` 过于宽松。
|
|
||||||
- `name/type` 很多时候只是视觉模型类别，不是业务语义。
|
|
||||||
- 没有运行时重定位机制。
|
|
||||||
|
|
||||||
## 目标 selector 结构
|
|
||||||
|
|
||||||
建议逐步变成：
|
|
||||||
|
|
||||||
```text
|
|
||||||
window=title:xxx;process=xxx;
|
|
||||||
type=Button;name=登录;id=loginButton;class=Button;
|
|
||||||
aiType=button;aiRect=x,y,w,h;aiModel=webpage-element;
|
|
||||||
template=sha1:...;ai=1
|
|
||||||
```
|
|
||||||
|
|
||||||
定位策略：
|
|
||||||
|
|
||||||
1. 优先按 `window + AutomationId + Name + ControlType` 查 UIA。
|
|
||||||
2. UIA 查不到时，限制在原窗口/原 Pane 附近重找。
|
|
||||||
3. 再失败时截图并运行视觉模型，在候选中按 `aiType + IoU + 外观相似度` 找回目标。
|
|
||||||
4. 找回后更新真实 UIA rect，再执行动作。
|
|
||||||
|
|
||||||
## AI 类别到 RPA 动作映射
|
|
||||||
|
|
||||||
| AI/UIA 类别 | RPA 默认动作 |
|
|
||||||
|---|---|
|
|
||||||
| `button / AXButton / TextButton` | `Element_Click` |
|
|
||||||
| `field / EditText / AXTextArea / TextBox` | `Element_SetValue` / `Element_GetValue` |
|
|
||||||
| `link / AXLink` | `Element_Click` |
|
|
||||||
| `text / label / heading` | `Element_GetText` / OCR |
|
|
||||||
| `CheckBox / Switch` | `Element_SetCheck` / `Element_GetCheck` |
|
|
||||||
| `Spinner / ComboBox` | `Element_SetSelect` / 展开后点击 |
|
|
||||||
| `image / Icon` | 坐标点击 / 图标匹配 |
|
|
||||||
| `Toolbar / Navigation / Group` | 作为容器遍历子元素，不直接执行动作 |
|
|
||||||
|
|
||||||
## 最好用的落地路线
|
|
||||||
|
|
||||||
### 第一阶段：可用
|
|
||||||
|
|
||||||
- 已完成：本地模型、Pane AI、候选框、悬浮确认。
|
|
||||||
- 已完成：候选类别从 sidecar 读取，默认模型切换为 `webpage-element.onnx`。
|
|
||||||
- 已完成：PaddleOCR 整图识别、候选框文本分配、OCR 结果缓存和异步回填。
|
|
||||||
- 已完成：`F2/F4` 进入 AI；`Esc/F9` 取消 AI；`F8` 切换开发候选框。
|
|
||||||
- 补 UIA 回查：选中框后用中心点/范围找最小 UIA 元素，生成稳定 selector。
|
|
||||||
|
|
||||||
### 第二阶段：稳定
|
|
||||||
|
|
||||||
- `exists/wait` 真正支持 `screen= + window + aiRect`。
|
|
||||||
- 执行前校验窗口和元素仍在预期区域。
|
|
||||||
- 增加 AI 重定位：截图 → 检测 → 与保存的 bbox/裁剪图匹配 → 更新坐标。
|
|
||||||
- 所有执行结果回写目标快照，方便排查框偏。
|
|
||||||
|
|
||||||
### 第三阶段：接近实在
|
|
||||||
|
|
||||||
- 元素检测、元素分类、OCR、图标相似、UISelector 组合。
|
|
||||||
- AI 只输出结构化 target/action，不直接控鼠标键盘。
|
|
||||||
- RPA 执行器负责窗口激活、等待、重试、截图、异常恢复。
|
|
||||||
- 对复杂远程桌面/Canvas/Java 应用保留视觉兜底。
|
|
||||||
|
|
||||||
## 推荐优先级
|
|
||||||
|
|
||||||
已选定 `webpage-element.onnx` 作为 Pane AI 默认模型。其他模型继续留在本地 `temp/models` 供实验台对比，不再进入默认链路和安装包。内置 OmniParser 只作为老安装包兼容回退，不建议作为最终业务 selector 的唯一来源。
|
|
||||||
@ -1,103 +0,0 @@
|
|||||||
# 图像与OCR 能力问题检测报告
|
|
||||||
|
|
||||||
- **检测时间**：2026-10-30 10:00–10:10
|
|
||||||
- **检测人**：刘爱家（AI 辅助静态核对 + 真实运行验证）
|
|
||||||
- **检测范围**：图像与OCR 分组已接入的全部 10 项能力（Image 7 项 + OcrOffline 3 项）
|
|
||||||
- **检测方式**：
|
|
||||||
1. 静态核对——组件目录（catalog.json）字段定义 vs 实现代码（vision.ts / ocr-caps.ts）逐键比对
|
|
||||||
2. 真实运行——GDI 生成含中英文的测试图、真实截屏、模板匹配直测、OCR 引擎实识别（飞桨 @gutenye/ocr-node）
|
|
||||||
- **说明**：本次仅检测未修改任何代码，问题留给同事修复。
|
|
||||||
- **修复状态（2026-11-02 更新）**：报告中的全部问题已由刘爱家修复完成——
|
|
||||||
- 提交 `342145c`：P2-2（屏幕截图图像来源/截图范围，含区域裁剪与下拉选项）
|
|
||||||
- 提交 `ba17d6d`：P0-1（GetOcrTextNew 传图键）、P1-1（点击位置九宫格/偏移）、P1-2（鼠标按键左/右/中/双击）、P1-3（GetOcrTable 行列聚类 + 写数据表 + 存 Excel）、P2-1（查找范围指定窗口/指定区域）、P3-2（鼠标移动轨迹动画）、P3-3（截图空路径落证据目录；表格行内按 x 排序）；P3-1（accuracy2）无特征匹配层实现，已在目录中隐藏并注明原因
|
|
||||||
- 回归：typecheck 通过；vitest 256 过（4 失败为与本次无关的桌面/PDF 环境遗留项）；新增 vision-helpers 单测 12 项覆盖区域解析/裁剪/九宫格
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 一、结论概览
|
|
||||||
|
|
||||||
| 组件 | 名称 | 可用性 | 核心问题 |
|
|
||||||
|---|---|---|---|
|
|
||||||
| Image_Screenshot | 屏幕截图 | ⚠️ 基本可用 | 截图范围/图像来源字段无效，仅支持全屏 |
|
|
||||||
| Image_Find | 查找图像 | ✅ 可用 | accuracy2 字段无效 |
|
|
||||||
| Image_Find_V1 | 查找图像 | ⚠️ 有隐患 | window_obj 必填但被忽略，实际全屏查找 |
|
|
||||||
| Image_Click | 点击图像 | ⚠️ 有缺陷 | position（点击位置）被忽略，永远点中心 |
|
|
||||||
| Image_Click_V1 | 点击图像 | ⚠️ 有缺陷 | 同上 |
|
|
||||||
| Image_Click_V2 | 点击图像 | ⚠️ 有缺陷 | 同上 |
|
|
||||||
| Image_Click_V3 | 鼠标点击图像 | ❌ 功能缺失 | click_key（左/右键）被忽略，右键点击无法实现；窗口限定无效 |
|
|
||||||
| OcrOffline_GetOcrTextNew | 图像OCR识别 | ❌ 不可用 | **按目录配置无法传入图片路径，任何填写方式都报「图片路径为空」** |
|
|
||||||
| OcrOffline_GetOcrTextPosition | 图像OCR识别（含坐标） | ✅ 可用 | 无阻塞性问题 |
|
|
||||||
| OcrOffline_GetOcrTable | 获取表格数据（OCR） | ⚠️ 部分可用 | 保存至数据表/Excel 的 4 个字段全部无效；返回扁平文本非表格结构 |
|
|
||||||
|
|
||||||
**正常项（已实测确认）**：截屏产物正确；模板匹配精度高（自测得分 0.9993）；OCR 中文/数字识别准确、坐标与置信度返回正常；找图失败时报错提示合理。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 二、问题清单（按严重度）
|
|
||||||
|
|
||||||
### P0-1 OcrOffline_GetOcrTextNew：目录字段与实现完全脱节，组件不可用
|
|
||||||
|
|
||||||
- **现象**：该组件在目录里唯一的图片相关字段是 `uiSelector`（目标，非必填），而实现读取图片路径的键列表为 `image_path/imagePath/file_path/filePath/path/image/pictureSource`——**不包含 uiSelector**。
|
|
||||||
- **后果**：用户按目录界面填参数，无论怎么填都无法把图片传进实现，必然报「图片路径为空」。已实测复现：`{ uiSelector: "D:/.../ocr_input.png" }` → `RuntimeError: 图片路径为空`。
|
|
||||||
- **修复建议**：实现读取键中加入 `uiSelector`，或目录为该组件增加 `image_path` 必填字段（与 GetOcrTextPosition 保持一致）。
|
|
||||||
|
|
||||||
### P1-1 Image_Click 全 4 版本：忽略「点击位置」字段
|
|
||||||
|
|
||||||
- **现象**：目录字段 `position`（点击位置，默认 center），实现拿到匹配区域后**固定点击中心点**（`vision.ts` 中 `x + width/2, y + height/2`），position 值从不读取。
|
|
||||||
- **后果**：用户选择「左上角/右上角/自定义偏移」等位置时静默失效，点击落点与预期不符且无任何提示。
|
|
||||||
|
|
||||||
### P1-2 Image_Click_V3：忽略「鼠标按键」字段，右键点击无法实现
|
|
||||||
|
|
||||||
- **现象**：目录字段 `click_key`（鼠标按键，默认 left），实现写死左键单击（`mouse_event(2,...)`按下 + `mouse_event(4,...)`弹起）。
|
|
||||||
- **后果**：右键菜单类自动化场景完全无法实现，且不报错（静默按左键执行）。
|
|
||||||
|
|
||||||
### P1-3 OcrOffline_GetOcrTable：输出相关 4 个字段全部无效
|
|
||||||
|
|
||||||
- **现象**：目录字段 `showTable`（保存至数据表）、`isExcel`（保存至Excel）、`excelName`、`excelPath`，实现全部不读取；仅返回按 y 坐标排序的**扁平文本行数组**。
|
|
||||||
- **后果**：「将结果保存至数据表/Excel」的承诺静默不执行；且行内多列文本不拆分（如「鼠标 20」作为一整行文本返回），拿不到结构化表格。
|
|
||||||
|
|
||||||
### P2-1 Image_Find_V1 / Image_Click_V3：「窗口对象」必填但被忽略
|
|
||||||
|
|
||||||
- **现象**：目录要求 `window_obj` 必填、`find_range`（图像查找范围）可选，实现两者都不读取，永远全屏截图查找。
|
|
||||||
- **后果**：用户以为限定了窗口范围，实际全屏找图——找到错误目标（其他窗口的同款图标）或找不到时无从排查。且 window_obj 必填迫使用户必须配置一个无意义的参数。
|
|
||||||
|
|
||||||
### P2-2 Image_Screenshot：「截图范围」「图像来源」字段无效
|
|
||||||
|
|
||||||
- **现象**：目录字段 `pictureSource`（图像来源）、`shotRange`（截图范围），实现不读取，固定全屏（`PrimaryScreen`）。目录里还有 `action/position/position_img` 三个疑似遗留占位字段。
|
|
||||||
- **后果**：只支持全屏截图；另外多显示器环境只截主屏，副屏内容丢失。
|
|
||||||
|
|
||||||
### P3-1 「特征相似度」accuracy2 字段无效
|
|
||||||
|
|
||||||
- Image_Find / Image_Click / Image_Click_V1 的 `accuracy2`（特征相似度）字段，实现不读取。当前实现是纯像素差模板匹配，没有特征匹配层，该字段为冗余配置。
|
|
||||||
|
|
||||||
### P3-2 「展示鼠标移动轨迹」show_track 字段无效
|
|
||||||
|
|
||||||
- Image_Click 全版本的 `show_track` 被忽略。当前实现 SetCursorPos 直接跳转，无轨迹动画。低优先级。
|
|
||||||
|
|
||||||
### P3-3 其他小问题
|
|
||||||
|
|
||||||
- Image_Screenshot 当 `image_path` 为空时输出文件落盘到进程工作目录（不可预期）；因该字段必填，实际风险低，建议加显式校验。
|
|
||||||
- OcrOffline_GetOcrTable 的行排序仅按 y 坐标，同一行内多个文本块不合并、不按 x 排序，多列场景顺序不稳定。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 三、实测验证记录（正常部分证据）
|
|
||||||
|
|
||||||
| 测试 | 结果 |
|
|
||||||
|---|---|
|
|
||||||
| GDI 生成测试图（600×200，含「RPA流程测试ABC123」「名称 数量」「鼠标 20」） | 成功 |
|
|
||||||
| Image_Screenshot 截屏逻辑（同款 PowerShell 脚本） | 成功，产物 246KB PNG |
|
|
||||||
| findImage 模板匹配（app_logo_tpl 模板 vs 实时截屏） | 命中 (93,27)，得分 **0.9993** |
|
|
||||||
| OcrOffline_GetOcrTextNew（传入 image_path 时） | 识别结果 `RPA流程测试ABC123\n名称 数量\n鼠标 20` 完全正确 |
|
|
||||||
| OcrOffline_GetOcrTextPosition | 3 行文本坐标 + 置信度（0.999/0.949/0.899）返回正常 |
|
|
||||||
| 找图失败路径 | 正确抛「屏幕中未找到目标图像」并附建议（注：vitest 环境内 PowerShell 受 PATH 限制报 ENOENT，真实应用主进程不受影响） |
|
|
||||||
|
|
||||||
**说明**：OCR 引擎（飞桨）与模板匹配算法本身质量良好，问题集中在**目录字段与实现的键名/功能脱节**——与此前 Office、数据处理组发现的拼接列、单元格格式问题是同一类「接入只对了一半」的缺陷。
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 四、给同事的修复优先级建议
|
|
||||||
|
|
||||||
1. **先修 P0-1**（GetOcrTextNew 传图键）——1 行改动，组件从不可用变可用
|
|
||||||
2. **再修 P1 三项**（Click 的 position/click_key、GetOcrTable 的输出字段）——都是读键 + 少量分支逻辑
|
|
||||||
3. **P2/P3 可排后**——窗口限定、截图范围属于功能增强，当前行为可接受但建议在 UI 上隐藏无效字段避免误导
|
|
||||||
@ -1,61 +0,0 @@
|
|||||||
/**
|
|
||||||
* 通过 CDP 读取运行中的 Electron 页面：文本、节点数量与控制台错误。
|
|
||||||
* 用法：node scripts/cdp-probe.mjs [expression]
|
|
||||||
*/
|
|
||||||
const endpoint = process.env.CDP_ENDPOINT || "http://127.0.0.1:9223";
|
|
||||||
const targets = await (await fetch(`${endpoint}/json/list`)).json();
|
|
||||||
const page = targets.find((item) => item.type === "page");
|
|
||||||
if (!page) throw new Error("no page target");
|
|
||||||
|
|
||||||
const ws = new WebSocket(page.webSocketDebuggerUrl);
|
|
||||||
const pending = new Map();
|
|
||||||
const events = [];
|
|
||||||
let seq = 0;
|
|
||||||
|
|
||||||
function send(method, params = {}) {
|
|
||||||
return new Promise((resolve, reject) => {
|
|
||||||
const id = ++seq;
|
|
||||||
pending.set(id, { resolve, reject });
|
|
||||||
ws.send(JSON.stringify({ id, method, params }));
|
|
||||||
});
|
|
||||||
}
|
|
||||||
|
|
||||||
await new Promise((resolve, reject) => {
|
|
||||||
ws.onopen = resolve;
|
|
||||||
ws.onerror = reject;
|
|
||||||
});
|
|
||||||
|
|
||||||
ws.onmessage = (event) => {
|
|
||||||
const message = JSON.parse(event.data);
|
|
||||||
if (message.id && pending.has(message.id)) {
|
|
||||||
const { resolve, reject } = pending.get(message.id);
|
|
||||||
pending.delete(message.id);
|
|
||||||
if (message.error) reject(new Error(JSON.stringify(message.error)));
|
|
||||||
else resolve(message.result);
|
|
||||||
} else {
|
|
||||||
events.push(message);
|
|
||||||
}
|
|
||||||
};
|
|
||||||
|
|
||||||
await send("Runtime.enable");
|
|
||||||
await send("Log.enable");
|
|
||||||
|
|
||||||
const expression = process.argv[2] || "document.body.innerText.slice(0, 6000)";
|
|
||||||
const result = await send("Runtime.evaluate", {
|
|
||||||
expression,
|
|
||||||
returnByValue: true,
|
|
||||||
awaitPromise: true
|
|
||||||
});
|
|
||||||
|
|
||||||
console.log("=== result ===");
|
|
||||||
console.log(JSON.stringify(result.result?.value ?? result, null, 2));
|
|
||||||
|
|
||||||
const errors = events.filter(
|
|
||||||
(item) =>
|
|
||||||
item.method === "Runtime.exceptionThrown" ||
|
|
||||||
(item.method === "Log.entryAdded" && ["error", "warning"].includes(item.params?.entry?.level))
|
|
||||||
);
|
|
||||||
console.log("\n=== errors/warnings ===");
|
|
||||||
console.log(JSON.stringify(errors.map((item) => item.params), null, 2).slice(0, 6000));
|
|
||||||
|
|
||||||
ws.close();
|
|
||||||
@ -1,160 +0,0 @@
|
|||||||
import { spawn, spawnSync } from "node:child_process";
|
|
||||||
import fs from "node:fs";
|
|
||||||
import os from "node:os";
|
|
||||||
import path from "node:path";
|
|
||||||
|
|
||||||
const root = process.cwd();
|
|
||||||
const debugPort = 9233;
|
|
||||||
const profile = fs.mkdtempSync(path.join(os.tmpdir(), "rpa-studio-desktop-e2e-"));
|
|
||||||
const workDir = path.join(os.tmpdir(), "rpa-desktop-test");
|
|
||||||
const noteFile = path.join(workDir, "rpa-desktop-test.txt");
|
|
||||||
const titleMarker = "rpa-desktop-test";
|
|
||||||
const typedText = "RPA-Keyboard-Mouse-Test-OK";
|
|
||||||
const uiaText = "UIA-SetValue-写入验证";
|
|
||||||
|
|
||||||
const candidates = [process.env.RPA_ELECTRON_DIST, "C:/electron-rpa/dist", path.join(root, "node_modules", "electron", "dist")].filter(Boolean);
|
|
||||||
const dist = candidates.find((candidate) => fs.existsSync(path.join(candidate, "electron.exe")));
|
|
||||||
if (!dist) throw new Error("找不到 Electron 运行时，请设置 RPA_ELECTRON_DIST");
|
|
||||||
|
|
||||||
const env = { ...process.env, RPA_E2E: "1" };
|
|
||||||
delete env.ELECTRON_RUN_AS_NODE;
|
|
||||||
const child = spawn(path.join(dist, "electron.exe"), [root, "--no-sandbox", `--remote-debugging-port=${debugPort}`, `--user-data-dir=${profile}`], {
|
|
||||||
cwd: root, env, stdio: ["ignore", "pipe", "pipe"], windowsHide: true
|
|
||||||
});
|
|
||||||
let stderr = "";
|
|
||||||
child.stderr.on("data", (chunk) => { stderr += String(chunk); });
|
|
||||||
|
|
||||||
async function waitForTarget() {
|
|
||||||
const deadline = Date.now() + 30000;
|
|
||||||
while (Date.now() < deadline) {
|
|
||||||
if (child.exitCode !== null) throw new Error(`RPA Studio 提前退出：${child.exitCode}\n${stderr}`);
|
|
||||||
try {
|
|
||||||
const targets = await (await fetch(`http://127.0.0.1:${debugPort}/json/list`)).json();
|
|
||||||
const page = targets.find((item) => item.type === "page" && item.title === "RPA Studio");
|
|
||||||
if (page) return page;
|
|
||||||
} catch { /* wait for CDP */ }
|
|
||||||
await new Promise((resolve) => setTimeout(resolve, 200));
|
|
||||||
}
|
|
||||||
throw new Error(`等待 RPA Studio CDP 超时\n${stderr}`);
|
|
||||||
}
|
|
||||||
|
|
||||||
async function evaluate(page, expression) {
|
|
||||||
const socket = new WebSocket(page.webSocketDebuggerUrl);
|
|
||||||
await new Promise((resolve, reject) => { socket.onopen = resolve; socket.onerror = reject; });
|
|
||||||
const result = await new Promise((resolve, reject) => {
|
|
||||||
const timer = setTimeout(() => reject(new Error("E2E Runtime.evaluate 超时")), 180000);
|
|
||||||
socket.onmessage = (event) => {
|
|
||||||
const message = JSON.parse(event.data);
|
|
||||||
if (message.id !== 1) return;
|
|
||||||
clearTimeout(timer);
|
|
||||||
if (message.error) reject(new Error(JSON.stringify(message.error)));
|
|
||||||
else if (message.result?.exceptionDetails) reject(new Error(message.result.exceptionDetails.text || "E2E 页面异常"));
|
|
||||||
else resolve(message.result?.result?.value);
|
|
||||||
};
|
|
||||||
socket.send(JSON.stringify({ id: 1, method: "Runtime.evaluate", params: { expression, returnByValue: true, awaitPromise: true } }));
|
|
||||||
});
|
|
||||||
socket.close();
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
function node(componentId, values, label, outputVar, timeoutMs = 20000) {
|
|
||||||
return { componentId, values, label, position: { x: 220, y: 0 }, options: { timeoutMs, logException: true, ...(outputVar ? { outputVar } : {}) } };
|
|
||||||
}
|
|
||||||
|
|
||||||
const maximizeScript = "Add-Type -MemberDefinition '[DllImport(\"user32.dll\")] public static extern bool ShowWindow(IntPtr h, int cmd);' -Name RpaMax -Namespace WinRpaMax | Out-Null; $p = Get-Process notepad | Where-Object { $_.MainWindowHandle -ne 0 } | Select-Object -First 1; if ($p) { [WinRpaMax.RpaMax]::ShowWindow($p.MainWindowHandle, 3) | Out-Null; 'maximized' } else { 'no-window' }";
|
|
||||||
const cursorPosScript = "Add-Type -AssemblyName System.Windows.Forms; $p=[System.Windows.Forms.Cursor]::Position; \"$($p.X),$($p.Y)\"";
|
|
||||||
|
|
||||||
const nodes = [
|
|
||||||
node("Trigger.Manual", { entryName: "开始桌面键鼠实测" }, "人工发起"),
|
|
||||||
node("System_ExecuteCommand", { action: `New-Item -ItemType Directory -Force -Path '${workDir}' | Out-Null; Set-Content -LiteralPath '${noteFile}' -Value '' -Encoding UTF8` }, "准备测试文件"),
|
|
||||||
node("App_Run", { executeable: "notepad.exe", params: noteFile }, "启动记事本", "notepadPid"),
|
|
||||||
node("Basic_Delay", { mileSecond: 1500 }, "等待窗口出现"),
|
|
||||||
node("System_ExecuteCommand", { action: maximizeScript }, "最大化记事本", "maximized", 15000),
|
|
||||||
node("Window_SetActive", { match_title: titleMarker }, "激活记事本", "activatedTitle"),
|
|
||||||
node("Window_GetActive", {}, "读取前台窗口", "activeTitle1"),
|
|
||||||
node("Window_WindowExists", { match_title: titleMarker }, "窗口存在", "exists1"),
|
|
||||||
node("Keyboard_Send", { keys: typedText }, "键盘输入英文", "typed"),
|
|
||||||
node("Keyboard_Send", { keys: "^a^c" }, "全选并复制"),
|
|
||||||
node("Clipboard_GetText", {}, "读取剪贴板", "clipboard1"),
|
|
||||||
node("Mouse_MoveTo", { position: "400,300" }, "鼠标移动", "movedTo"),
|
|
||||||
node("System_ExecuteCommand", { action: cursorPosScript }, "读取真实光标位置", "cursorPos", 15000),
|
|
||||||
node("Mouse_RollTo", { RollNum: 1 }, "滚轮滚动", "rolled"),
|
|
||||||
node("Window_SetActive", { match_title: titleMarker }, "重新激活记事本", "activatedTitle2"),
|
|
||||||
node("Element_ExistsGround", { uiSelector: `window=${titleMarker};type=Edit;index=1` }, "UIA 元素存在", "uiaExists"),
|
|
||||||
node("Element_SetValueGround", { uiSelector: `window=${titleMarker};type=Edit;index=1`, value: uiaText }, "UIA 写入文本"),
|
|
||||||
node("Keyboard_Send", { keys: "^a^c" }, "再次全选复制"),
|
|
||||||
node("Clipboard_GetText", {}, "读取剪贴板二", "clipboard2"),
|
|
||||||
node("Element_GetValueGround", { uiSelector: `window=${titleMarker};type=Edit;index=1` }, "UIA 读取文本", "uiaValue"),
|
|
||||||
node("Element_ClickGround", { uiSelector: `window=${titleMarker};type=Edit;index=1` }, "UIA 点击编辑区", "clickResult"),
|
|
||||||
node("Window_SetActive", { match_title: titleMarker }, "清理前重新激活", "activatedTitle3"),
|
|
||||||
node("Keyboard_Send", { keys: "^a{DEL}" }, "清空文本避免保存提示"),
|
|
||||||
node("Window_CloseWindow", { title: titleMarker }, "关闭记事本", "closed"),
|
|
||||||
node("Basic_Delay", { mileSecond: 800 }, "等待退出"),
|
|
||||||
node("Window_WindowExists", { match_title: titleMarker }, "窗口已消失", "exists2")
|
|
||||||
];
|
|
||||||
|
|
||||||
const expression = `(async () => {
|
|
||||||
const flow = await window.rpa.flows.create("桌面键鼠实测");
|
|
||||||
const list = ${JSON.stringify(nodes)};
|
|
||||||
flow.nodes = list.map((item, index) => ({ id: "n" + String(index + 1).padStart(2, "0"), ...item, position: { x: 220, y: 80 + index * 140 } }));
|
|
||||||
flow.edges = flow.nodes.slice(1).map((item, index) => ({ id: "e" + index, source: flow.nodes[index].id, target: item.id }));
|
|
||||||
await window.rpa.flows.save(flow);
|
|
||||||
const events = [];
|
|
||||||
const off = window.rpa.run.onEvent((event) => events.push(event));
|
|
||||||
const started = await window.rpa.run.start(flow);
|
|
||||||
const finished = await new Promise((resolve, reject) => {
|
|
||||||
const deadline = Date.now() + 150000;
|
|
||||||
const timer = setInterval(() => {
|
|
||||||
const event = events.find((item) => item.type === "run.finished");
|
|
||||||
if (event) { clearInterval(timer); resolve(event); }
|
|
||||||
else if (Date.now() > deadline) { clearInterval(timer); reject(new Error("桌面键鼠流程超时")); }
|
|
||||||
}, 100);
|
|
||||||
});
|
|
||||||
off();
|
|
||||||
await window.rpa.flows.delete(flow.id);
|
|
||||||
const byNode = {};
|
|
||||||
for (const event of events) if (event.type === "node.finished") byNode[event.nodeId] = event;
|
|
||||||
return { runId: started.runId, status: finished.status, durationMs: finished.durationMs, byNode, logs: events.filter((e) => e.type === "log").map((e) => e.message) };
|
|
||||||
})()`;
|
|
||||||
|
|
||||||
let page;
|
|
||||||
try {
|
|
||||||
page = await waitForTarget();
|
|
||||||
const result = await evaluate(page, expression);
|
|
||||||
if (result?.status !== "succeeded") throw new Error(`桌面键鼠流程失败：${JSON.stringify(result, null, 2)}`);
|
|
||||||
const byNode = result.byNode || {};
|
|
||||||
const out = (id) => byNode[id]?.output;
|
|
||||||
const failedNodes = Object.entries(byNode).filter(([, event]) => event.status !== "succeeded");
|
|
||||||
const checks = [
|
|
||||||
["App_Run 返回 PID", Number(out("n03")) > 0, out("n03")],
|
|
||||||
["最大化记事本", out("n05") === "maximized", out("n05")],
|
|
||||||
["Window_SetActive 激活成功", String(out("n06") || "").includes(titleMarker), out("n06")],
|
|
||||||
["Window_GetActive 前台=记事本", String(out("n07") || "").includes(titleMarker), out("n07")],
|
|
||||||
["Window_WindowExists=true", out("n08") === true, out("n08")],
|
|
||||||
["Keyboard_Send 输入回显", out("n09") === typedText, out("n09")],
|
|
||||||
["剪贴板=键盘输入内容", out("n11") === typedText, out("n11")],
|
|
||||||
["Mouse_MoveTo 返回坐标", JSON.stringify(out("n12")) === JSON.stringify({ x: 400, y: 300 }), out("n12")],
|
|
||||||
["系统真实光标=目标位置", out("n13") === "400,300", out("n13")],
|
|
||||||
["Mouse_RollTo 滚动执行", out("n14") === 120, out("n14")],
|
|
||||||
["重复激活仍成功", String(out("n15") || "").includes(titleMarker), out("n15")],
|
|
||||||
["UIA 元素存在", out("n16") === true, out("n16")],
|
|
||||||
["UIA SetValue 后剪贴板一致", out("n19") === uiaText, out("n19")],
|
|
||||||
["UIA GetValue 读取一致", out("n20") === uiaText, out("n20")],
|
|
||||||
["UIA Click 执行", out("n21") && typeof out("n21") === "object", out("n21")],
|
|
||||||
["Window_CloseWindow 关闭", out("n24") === true, out("n24")],
|
|
||||||
["关闭后窗口不存在", out("n26") === false, out("n26")]
|
|
||||||
];
|
|
||||||
const problems = checks.filter(([, ok]) => !ok).map(([name, , actual]) => `${name} → ${JSON.stringify(actual)}`);
|
|
||||||
if (problems.length || failedNodes.length) {
|
|
||||||
throw new Error(`桌面键鼠实测未通过：\n${[...failedNodes.map(([id, event]) => `${id} ${event.status}: ${JSON.stringify(event.error || event.output)}`), ...problems].join("\n")}\n日志：\n${(result.logs || []).join("\n")}`);
|
|
||||||
}
|
|
||||||
console.log(JSON.stringify({ ok: true, runId: result.runId, durationMs: result.durationMs, checks: checks.map(([name]) => name) }, null, 2));
|
|
||||||
} finally {
|
|
||||||
if (process.platform === "win32") {
|
|
||||||
spawnSync("taskkill", ["/IM", "notepad.exe", "/F"], { windowsHide: true, stdio: "ignore" });
|
|
||||||
if (child.pid) spawnSync("taskkill", ["/PID", String(child.pid), "/T", "/F"], { windowsHide: true, stdio: "ignore" });
|
|
||||||
} else child.kill("SIGKILL");
|
|
||||||
await new Promise((resolve) => setTimeout(resolve, 500));
|
|
||||||
try { fs.rmSync(profile, { recursive: true, force: true, maxRetries: 12, retryDelay: 250 }); } catch {}
|
|
||||||
try { fs.rmSync(workDir, { recursive: true, force: true, maxRetries: 5, retryDelay: 300 }); } catch {}
|
|
||||||
}
|
|
||||||
@ -1,31 +0,0 @@
|
|||||||
// 从运行记录的 tmp_table.json 重建比价表并导出 Excel
|
|
||||||
const ExcelJS = require("exceljs");
|
|
||||||
const fs = require("fs");
|
|
||||||
|
|
||||||
const table = JSON.parse(fs.readFileSync("C:/Users/Administrator/AppData/Roaming/rpa-studio/tmp_table.json", "utf8"));
|
|
||||||
// table[0] 是损坏的表头行（["标题"]），数据行从 index 1 开始：6 列 = 标题/价格/店铺/销量/空/AI
|
|
||||||
const dataRows = table.slice(1).filter((row) => row.length >= 4 && row[0]);
|
|
||||||
const aiText = table.map((row) => (row.length >= 6 ? row[5] : null)).find((c) => c && String(c).trim() && c !== null && String(c) !== "None") || "";
|
|
||||||
|
|
||||||
const workbook = new ExcelJS.Workbook();
|
|
||||||
const sheet = workbook.addWorksheet("比价结果");
|
|
||||||
sheet.addRow(["标题", "价格", "店铺", "销量"]);
|
|
||||||
for (const row of dataRows) {
|
|
||||||
sheet.addRow([row[0], row[1], row[2], row[3]]);
|
|
||||||
}
|
|
||||||
// AI 分析单独放一个 sheet
|
|
||||||
const aiSheet = workbook.addWorksheet("AI分析");
|
|
||||||
aiSheet.addRow(["AI 比价分析结论"]);
|
|
||||||
aiSheet.getRow(1).font = { bold: true };
|
|
||||||
aiSheet.addRow([String(aiText)]);
|
|
||||||
aiSheet.getColumn(1).width = 120;
|
|
||||||
sheet.getColumn(1).width = 60;
|
|
||||||
sheet.getColumn(2).width = 12;
|
|
||||||
sheet.getColumn(3).width = 24;
|
|
||||||
sheet.getColumn(4).width = 14;
|
|
||||||
sheet.getRow(1).font = { bold: true };
|
|
||||||
|
|
||||||
const out = "C:/Users/Administrator/Desktop/淘宝手机比价.xlsx";
|
|
||||||
workbook.xlsx.writeFile(out).then(() => {
|
|
||||||
console.log("written:", out, "dataRows:", dataRows.length, "aiLen:", String(aiText).length);
|
|
||||||
});
|
|
||||||
@ -1,40 +0,0 @@
|
|||||||
import { spawn } from "node:child_process";
|
|
||||||
|
|
||||||
const executable = process.argv[2];
|
|
||||||
if (!executable) {
|
|
||||||
console.error("usage: node scripts/spawn-test.mjs <exe> [...args]");
|
|
||||||
process.exit(2);
|
|
||||||
}
|
|
||||||
const env = { ...process.env };
|
|
||||||
delete env.ELECTRON_RUN_AS_NODE;
|
|
||||||
|
|
||||||
const child = spawn(executable, process.argv.slice(3), {
|
|
||||||
env,
|
|
||||||
stdio: ["ignore", "pipe", "pipe"],
|
|
||||||
windowsHide: false
|
|
||||||
});
|
|
||||||
|
|
||||||
child.stdout.on("data", (data) => process.stdout.write(`[out] ${data}`));
|
|
||||||
child.stderr.on("data", (data) => process.stderr.write(`[err] ${data}`));
|
|
||||||
|
|
||||||
const timer = setTimeout(() => {
|
|
||||||
console.log(`STILL_RUNNING pid=${child.pid}`);
|
|
||||||
try {
|
|
||||||
child.kill("SIGKILL");
|
|
||||||
} catch {
|
|
||||||
// ignore
|
|
||||||
}
|
|
||||||
setTimeout(() => process.exit(0), 1000);
|
|
||||||
}, 9000);
|
|
||||||
|
|
||||||
child.on("exit", (code, signal) => {
|
|
||||||
clearTimeout(timer);
|
|
||||||
console.log(`EXIT code=${code} signal=${signal}`);
|
|
||||||
process.exit(0);
|
|
||||||
});
|
|
||||||
|
|
||||||
child.on("error", (error) => {
|
|
||||||
clearTimeout(timer);
|
|
||||||
console.error(`SPAWN_ERROR ${error.message}`);
|
|
||||||
process.exit(1);
|
|
||||||
});
|
|
||||||
Loading…
Reference in New Issue
Block a user