wangyukun/PRA-only-demo
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
302 Commits 3 Branches 0 Tags 312 MiB
1b952e3bbd
Commit Graph

61 Commits

Author SHA1 Message Date
yu
1b952e3bbd Merge remote main; re-apply remote port default 9222 to regenerated catalog 2026-11-06 13:10:10 +08:00
yu
93915dfe8a catalog: 远程连接默认端口 61619 改为 9222 2026-11-06 13:06:54 +08:00
yu
8414c4f355 feat: 平台标记单一源 PLATFORM_GROUPS + catalog 重生成 platformTag 生效 
迁移前置项（指南五件小事 #1 + 第 0 步作业 #2）：
- register-all.ts 新增 PLATFORM_GROUPS 单一权威表（33 域全标 win32，darwin/linux 仅类型占位）
- registerAll 逐域加载时把平台默认值落进 meta.platforms（能力显式声明优先）；
  新增 buildDomainPlatformMap 供构建脚本与运行时共用同一张表
- build-catalog.mjs 删除 WIN32_GROUPS 硬编码，platformTag 从包内分组表派生（改 tsx 运行）
- 守卫测试 platform-groups.test.ts：域无缺行 / 不偷填非 win32 数据 / meta 派生一致
- catalog.json 重生成：687 个组件获得 platformTag=win32（此前从未生效）
- 源数据恢复：对面重构删了 shizai-catalog-data.js，从其历史 commit 7bc627c8 恢复到
  temp/catalog-source/（不入库）并作为回退路径
- catalog-overrides 增强 addFields 支持；把此前直接改 catalog.json 的 96 处假必填修正、
  label 修正、Screenlock 字段清理、12 个实现读取但源数据缺失的字段全部沉淀进 overrides，
  重生成后参数审计 A/B 类保持 0/0
 2026-11-05 17:53:07 +08:00
yu
79bba4296f chore: 移除未使用的 ui-icon-detect 模型(80MB) 
- webpage-element.onnx 为实测首选模型，运行时永远先命中；
  ui-icon-detect/model.onnx 仅作为老安装包兜底回退，无实际使用场景
- 删除模型目录（含无引用的 preprocessor_config.json），运行时去掉兜底候选
- 上一个提交给打包加的 ui-icon-detect 拷贝行随之移除
- 注：git 历史中该 blob 仍存在（不做历史改写），仅工作区与新 clone 不再需要下载该模型
 2026-11-05 17:27:08 +08:00
yu
de6165e76e catalog: 96 个假必填参数改为选填并新增参数审计脚本 
- 全量对比 catalog 字段与实现实际读取（audit-catalog-params.py），A 类假必填 74→0（96 个字段/72 组件）
- 最大族：web×31、designated_obj×23、accuracy2×3、emails×3 等
- Screenlock/ScreenUnlock 清掉无意义必填并补 label
- 隐藏参数（实现读取但目录未定义）审计为 0
 2026-11-05 17:01:59 +08:00
yu
5ef797dcc0 feat: 添加算术验证码与字符验证码处理能力 
新增算术验证码解析、字符清洗能力及测试文件，注册OCR_CalculationCode和OCR_CommonEnglishNumbersCode两个新能力，补充验证码处理逻辑
 2026-11-05 16:48:20 +08:00
yu
22a7ee1595 修复外部浏览器 CDP 无响应: ws 从主进程 bundle 外部化 
根因: ws 被打进主进程 bundle 时, 其可选依赖 bufferutil 的打包解析产物
破坏了客户端发帧的 mask fallback; permessage-deflate 协商开启时错误被
压缩路径静默吞掉 —— 表现为 ws 握手成功但所有 CDP 命令零字节发出、
无响应(输入文本节点 10s 超时), dev 与打包版皆受影响。

- electron.vite.config: externalizeDepsPlugin include ws, 运行时 require
- package.json: ws 提升到根依赖, electron-builder 随包收集
- electron-builder.config: 确认 node_modules/ws 进入 asar
- transport: 显式 perMessageDeflate:false(双保险, 附注释)
- package.mjs: verifyLaunch 剥离 ELECTRON_RUN_AS_NODE/NODE_OPTIONS,
  防止外部工具链环境把打包应用带进纯 Node 模式(bad option 退出码 9)
- flows: 演示流程支持 RPA_DEMO_BROWSER 强制指定浏览器(Chrome 缺装回退 Edge)

验证: 全量测试 349 绿 + 浏览器 e2e 绿 + portable/NSIS 双冒烟通过,
安装包/zip/SHA256 已产出。
 2026-11-04 17:19:32 +08:00
yu
caa8e19332 阶段1-rpa-core建包: engine+31个纯Node能力迁入packages/rpa-core, 领域类型单一源化, createEngine工厂收拢模块级状态 
- engine/(registry/types/runtime/expression)物理迁入包, 解耦shared/types(域类型归包, 宿主type-only re-export)
- 31个纯Node能力+27个测试迁入包; 宿主留守Electron/浏览器/AI依赖能力, index.ts经@rpa/core/capabilities拉起
- 新增createEngine()/defaultEngine: excel缓存/Excel句柄/db连接/FTP客户端/OCR实例/拟真设置挂引擎实例
- remaining-core子流程依赖改为host-bridge注入, 包内不再import宿主flows
- 宿主main/index.ts启动时注入子流程源; electron-vite/vitest/tsconfig配@rpa/core源码别名
- 验证: typecheck绿, 快照909个id diff为零, 332测试过(2个桌面冒烟因会话无交互SetForegroundWindow被拒, 环境阻塞)
 2026-11-04 12:36:03 +08:00
yu
4139400dbd 阶段0-基线与护栏: 修复不可移植/抖动测试全绿(341过), vitest串行执行防桌面竞争, 新增运行时能力注册快照(909个id) 2026-11-04 11:53:41 +08:00
yu
f35f0ac979 files 能力增强与 vision 校验修复；落盘 rpa-core 抽离改造任务清单与开发规范 2026-11-04 10:14:55 +08:00
yu
8d6f0ff755 键盘输入支持选择输入目标窗口 2026-11-03 16:56:10 +08:00
yu
d5d7df8880 fix: 同步相对位置组件描述覆盖 2026-11-03 15:08:17 +08:00
yu
c973209418 fix: 对比图像相对位置字段正名(被搜索图像/查找目标小图)+填反自动互换兜底, 补OCR与相对位置冒烟回归 2026-11-03 14:59:33 +08:00
yu
9ec301b081 fix: 修复重复能力审计中Base64解码同时保留与隐藏的冲突 2026-11-03 14:54:46 +08:00
yu
4fc1209c93 Merge branch 'main' of http://43.140.215.244:7040/wangyukun/PRA-only-demo 2026-11-03 14:41:41 +08:00
yu
5b1b41663f fix: 修复远程catalog变更引入的3个测试失败(数量658→654, canonical链断→V3, 8字段缺type, 3字段widget非法→text, counts.fields 4297→4294, overrides描述与catalog同步) 2026-11-03 14:41:08 +08:00
yu
8fdc62d98d feat: 图片Base64编解码组件统一(Encode并入方向切换,Decode隐藏), 验证任务归并: 图像OCR未测任务 41->7 (Base64/CV/OCR票据卡证证照通用离线) 2026-11-03 14:28:23 +08:00
yu
4486c57536 refactor: 屏幕截图删除输出目录字段, 仅留保存路径与文件名称(旧流程输出目录值运行时仍兼容) 2026-11-03 14:17:19 +08:00
yu
04ac6130a0 feat: 屏幕截图面板精简为 范围/保存路径/输出目录/文件名称, 截图区域仅框选模式显示, 删除冗余action与position_img 2026-11-03 14:14:42 +08:00
yu
b4bcee8c15 refactor: 屏幕截图冗余区域字段收敛(action/position_img 并入截图区域), 仅框选区域模式显示 2026-11-03 14:13:07 +08:00
yu
41b999115e fix: 屏幕截图保存路径字段正名(目标文件路径->截图保存路径), 备用输出目录/文件名折叠进高级参数, 描述写清保存回退链 2026-11-03 14:07:06 +08:00
yu
fe0c6c2790 fix: 裁剪图像参数校验与字段说明(源图片路径/坐标语义), 空路径与无效区域给明确报错 2026-11-03 13:50:57 +08:00
yu
d4f27cdaab refactor: 找图族组件统一新管线(Exists/Location/Wait/Move迁至虚拟桌面+相似度语义), 面板只留V1/V2最新版 2026-11-03 13:44:59 +08:00
yu
6027895d4d refactor: 点击图像组件合(V2并入V3): 精简为查找范围/窗口对象/目标图像/按键/位置/相似度七字段 2026-11-03 13:34:42 +08:00
yu
9868f5d51c fix: 图像匹配改相似度语义并修三处准确度缺陷(尺度对齐/早退阈值/噪声死区) 2026-11-03 11:31:34 +08:00
yu
d98185d1cf feat: CV 组件搜索区域 UI 接入完成 
- catalog 为 CV_MouseClick/GetText/SetText/MouseHover 新增可选「搜索区域」字段(region widget)
- 属性面板 region 字段渲染「屏幕框选」按钮, 框选后存 {x,y,width,height,imagePath}
- 运行时框选截图内 OCR 定位 + 偏移换算屏幕绝对坐标; 纯坐标范围则全屏截屏后过滤区域内命中
- 新增 2 个区域过滤测试用例(区域内命中/区域外拒绝)
 2026-11-03 09:10:00 +08:00
yu
58c23591a5 feat: 属性面板参数说明优化, 让用户清楚每个参数该填什么 
- catalog-overrides 为 vision 组 88 个组件补充 229 个字段的 description/placeholder
  (目标/偏移量/图片路径/引擎选择等高频易混字段), catalog.json 同步应用
- Properties.tsx: 元数据缺描述时按控件类型兜底提示(element/file/folder/region)
  vision 组件 element 字段提示「填写屏幕上可见的目标文本, OCR 定位」
- 必填标识从红星 * 改为「必填」徽标, 更直白
- 字段说明文案样式增强(.field-desc): 10px muted 色置于输入框下方
 2026-11-02 17:37:43 +08:00
yu
f8859fed77 test: validate capability property schemas and options 2026-11-02 15:55:23 +08:00
yu
29f3443110 fix: 保存对话框预填文件名并自动补扩展名; 截图组件隐藏图像来源字段 
- Properties.tsx: 输出类字段保存框按过滤器预填默认文件名(未命名.png 等), 不再是空文件名没法直接点保存; 保存结果无扩展名时自动补所选类型扩展名(Windows 保存框不会自动补)
- catalog: Image_Screenshot 的 pictureSource(图像来源) 界面隐藏, 实现默认截当前屏幕; 历史流程存有 2(指定图片文件) 仍按原逻辑生效
 2026-11-02 15:01:44 +08:00
yu
ba17d6dc2a fix: 图像与OCR 检测报告问题全量修复（P0/P1/P2/P3） 
- P0-1: GetOcrTextNew 传图键补 uiSelector, 组件恢复可用
- P1-1: Image_Click 全版本 position 生效(九宫格锚点+自定义偏移 JSON), catalog 补下拉选项
- P1-2: Click_V3 click_key 生效(左/右/中键/双击), catalog 补选项
- P1-3: GetOcrTable 按垂直中心聚合成行列(行内按 x 排序), showTable 写流程数据表(与 Bivartable 共享 __rpaDatabook), isExcel 用 exceljs 另存并处理 res/randomString 占位
- P2-1: Find_V1/Click_V3 find_range 生效(整个屏幕/指定窗口/指定区域), 窗口模式前置+取矩形裁剪, 坐标平移回屏幕系
- P2-2(补): Image_Screenshot 空路径兜底到流程证据目录
- P3-1: accuracy2 无特征匹配层实现, catalog 隐藏并注明
- P3-2: show_track=1 时鼠标 20 步插值平滑移动后点击
- P3-3: 截屏/Find 换 desktopCapturer(去掉逐次 Add-Type); 新增 vision-helpers.test.ts 12 项单测(区域解析/边界夹取/裁剪/九宫格)
- 回归: typecheck 通过; vitest 256 过(4 失败为桌面/PDF 环境遗留); 报告文档已标注修复状态
 2026-11-02 14:53:34 +08:00
yu
342145cc46 feat: 屏幕截图组件实现图像来源与截图范围（原 P2 问题） 
- vision.ts 重写 Image_Screenshot：pictureSource=1 当前屏幕(desktopCapturer)/2 指定图片文件(image_path 作输入, 输出走输出目录+文件名, 未配置则原样返回)；shotRange=2 框选区域按 position/action 区域 JSON 裁剪(pngjs bitblt)，区域支持 {x,y,width,height}/[x,y,w,h]/left,top/角点写法并夹取边界
- 移除 browser.ts 重复注册，实现单点维护
- catalog: pictureSource/shotRange 补下拉选项(当前屏幕/指定图片文件, 整个屏幕/框选区域)
- typecheck 通过；browser/cv-vision/capability-audit/app-system 回归 50 项全过
 2026-11-02 14:36:14 +08:00
yu
1ddd1f1b35 feat: enhance AI pane picking with OCR and cancellable hotkeys 2026-11-02 14:21:19 +08:00
yu
0132871885 feat: deduplicate capability palette 2026-11-02 13:08:03 +08:00
yu
e956ec9055 feat: 新增本地UI模型AI拾取与识别实验台 2026-11-02 11:55:36 +08:00
yu
510f0d041d merge: integrate liuwenxin app-system fixes 2026-11-02 11:07:27 +08:00
yu
95fb07e876 feat: complete remaining capabilities and hide integration status 2026-11-02 10:43:11 +08:00
liuwenxin
d489288c8e test(应用与系统): 添加组件验收流程与复测报告 
提供 13 组、74 个用例，覆盖 49 项可执行组件。
新增隔离运行、真实界面检查、结果汇总和安全安装脚本。
升级仅覆盖未修改的测试模板，并保留原文件备份。
为手动操作设置保护开关，保留修复前后验证证据。

验证：43 项相关检查、类型检查与构建通过。
 2026-11-02 09:06:40 +08:00
liuwenxin
5f9e28715c fix(应用与系统)!: 修复组件执行与参数校验 
修正 PID 空结果、目标类型判断与转换、毫秒等待。
让关闭程序和命令行按所选模式显示并校验参数。
统一 PowerShell 输出编码，修正 BAT 路径引号处理。
明确屏保和屏幕唤醒的实际能力，补充缺陷回归测试。

验证：类型检查、构建与组件回归检查通过。

BREAKING CHANGE: 判断数据类型改为返回布尔值。
需要类型名称的旧流程请改用 Basic_Type。
屏保 V1 移除未实现参数，旧自定义密码节点需重新添加。
 2026-11-02 09:05:48 +08:00
yu
85dcb94056 feat: 新增桌面AI拾取功能，支持视觉识别控件 2026-10-30 18:02:46 +08:00
yu
f74d1865da chore: 修复 desktop-picker.ps1 中 DllImport 字符串的引号不一致问题 2026-10-30 14:44:36 +08:00
yu
11fc88eec9 style(desktop-picker): 修改桌面选择器的透明样式并添加边框 
将背景色改为 fuchsia 并设置透明键，添加绘制边框的 Paint 事件处理，提升视觉效果
 2026-10-30 14:22:52 +08:00
yu
4ad238ff37 fix: 桌面拾取脚本补 DPI 感知，修复混合缩放下坐标错位 2026-10-30 14:16:34 +08:00
yu
8de4791e57 fix: 修复按键状态检测的位掩码值 2026-10-30 14:14:45 +08:00
yu
b9bd6d671b fix: 修复桌面元素拾取时窗口未恢复的问题并优化脚本功能 2026-10-30 13:59:34 +08:00
yu
a12e6cb0bd fix: 拾取循环补回 DoEvents 消息泵（v3 重写时丢失） 2026-10-30 12:57:52 +08:00
yu
e6c34bafe5 fix: UIA Point 类型名修正（System.Windows.Point），脚本循环验证无错误 2026-10-30 12:52:43 +08:00
yu
ed9b9daa50 fix: 拾取脚本完整重写——v3 逻辑+全链路日志（此前骨架覆盖事故修复） 2026-10-30 12:01:33 +08:00
yu
a1490303d4 fix: 高亮框初始隐藏，仅有效矩形时显示 2026-10-30 12:01:30 +08:00
yu
f28b5ffc5e feat: 浏览器类型字段改为下拉选择 
- catalog.json: WebBrowser_Create/V2/V3/CreateBackground 的 type 字段补 options（内置运行浏览器/Chrome/Edge，label 与存储值分离）
- shared/types.ts: CatalogField.options 支持字符串或 {label,value} 对象
- Properties.tsx: select/radio 选项归一化渲染 label；当前值不在选项中时追加显示（兼容历史手填值如 zexplorer）
- typecheck 通过；全量 vitest 除 4 项依赖真实 COM 的历史失败外全部通过
 2026-10-30 11:26:33 +08:00
yu
3d64392eb0 fix: 拾取循环补 DoEvents 消息泵，修复高亮框/信息条冻结不刷新 2026-10-30 11:26:01 +08:00