郑博文
|
3773a0851c
|
feat(viewer-core,android-ffi): 相对位移上行链路 + 桌面像素级 proof
viewer-core 新增 send_mouse_rel（零位移不占消息：手指静止时 ACTION_MOVE
每帧都发，空事件只会白占 QUIC 帧）。
android-ffi 新增 nativeSendMouseRel，JNI 符号 13 -> 14，Int 入参 clamp 到 i16
而不是回绕（回绕会让指针跳到屏幕另一侧）。
新增 examples/rel_mouse_proof：走完整链路（viewer-core -> QUIC -> agent 注入
-> GetCursorPos 读回）验证 V-B1a/b/c。判据是「位移恰好等于请求值」，不是
「大概动了」——因为被推翻的 MOUSEEVENTF_MOVE 方案正是「看起来能动但比例错」。
运行前后记录并还原光标位置，不污染桌面状态。
|
2026-10-31 17:35:02 +08:00 |
|
郑博文
|
4eb82f9779
|
feat(viewer-core): 连接失败分类 + 短预算×有限重拨（3a/U8）
ConnectErrorKind（Resolve/Timeout/Refused/Auth/Version/Other）在 Rust 侧分类，
Kotlin 只做编号→文案映射。分级预算：第一拨握手 5s（快速判不可达）、重拨拨 8s
（接住 agent 串行 accept 的僵尸释放 ~10.2s）、认证 11s、全程 14s 封顶。
is_retryable 只对 Timeout/Refused 重拨；Resolve/Auth/Version 确定性失败不拖慢。
判据演进（偏差 D2/D3，用户 2026-10-31 裁决方案①）：单次 5s 总预算在串行 accept
架构下把合法排队压断（text proof 实爆），故改重拨。不可达 32s→~13s 且全程可取消；
僵尸重连第一拨 5s 失败第二拨 10.2s 自动成功（桌面 e2e 实测）。9 单测锁分类/预算/重拨。
|
2026-10-31 13:29:48 +08:00 |
|
郑博文
|
174a3f8ac0
|
feat(viewer-core,android-ffi): 主控端文本上行与 JNI 入口
Session::send_text 收 &[u16] 而不是 &str：整条链（Java 字符串 → JNI → 线格式 →
Windows 注入）的原生表示都是 UTF-16，任何一次 UTF-8 往返都有损，故中间层不做转换。
空输入与超限在本层拦掉，超限走 clamp_text_units 并打日志。
nativeSendText 的参数用 char[]（JObject 收再转 JCharArray），经 GetCharArrayRegion
按 u16 直接拷贝。不用 JString + get_string：jni 0.21 那条路走 Modified-UTF-8，
IME 提交边界的落单代理项会在往返里丢。JNI 取数失败必须 eprintln，不能静默——
用户对着远端打字最坏的情况是「看起来发送了」。
|
2026-10-30 11:41:53 +08:00 |
|
郑博文
|
5047618c01
|
feat(android): 触摸映射 + letterbox 显示（阶段 2a 代码部分）
问题：阶段 1 的 SurfaceView 用 MATCH_PARENT，2560x1440 的视频被拉进
1080x2400 竖屏，画面变形。变形状态下手指位置与远端指针不再一一对应，
触摸映射无从谈起。所以两者必须一起做。
新增 RemoteSurfaceView
- onMeasure 按视频宽高比 letterbox：视图尺寸 = 画面尺寸，黑边不属于视图，
触摸天然只在画面内产生事件，坐标归一化到 0..=65535 才准确
- 手势：单指轻点=左键、单指拖动=左键拖拽、双指轻点=右键、双指滑动=滚轮
- 刻意不做「手指即光标」的绝对跟随：手指会完全挡住目标，精细操作不可用
- 边界处理：进入拖拽后落下第二指，先抬起左键再切双指手势，
否则远端会留下一个被按住未释放的按键
协议侧（不改线格式，只加只读查询）
- viewer-core::Session 记录 AuthOk 的桌面尺寸，新增 desktop_size()
- android-ffi 新增 nativeDesktopSize(handle) -> i64（高32=宽，低32=高）
- RustBridge.desktopSize() 拆包
- 尺寸必须在建解码器之前拿到：等首帧再改视图尺寸会触发重新测量，
把刚创建的解码器 surface 打掉
MainActivity
- 接入 RemoteSurfaceView.Listener；连接成功后先取尺寸设宽高比，再起解码线程
- 返回键 = 断开（不退出 App，便于重连）；去掉阶段 1 的双击断开
（双击现在语义上是「两次左键点击」，会和远端交互冲突）
验证：cargo build --workspace 通过；cargo test 全绿（common 20 + viewer-core 3）。
真机手势验收待手机重新连接后补。
|
2026-10-30 09:51:38 +08:00 |
|
郑博文
|
44767ed370
|
feat(android-ffi): viewer-core 的 JNI 薄层，arm64 交叉编译通过（QUIC 栈上手机的第一道关）
方案变更说明（A2 落地修正）：原裁决选 UniFFI，但实查 Maven Central 与
maven.mozilla.org 均无 uniffi Kotlin 运行时构件（404），自编译发布成本超过收益。
改为裸 JNI：阶段 0（真机）已验证该链路，接口刻意保持窄（连接/取帧/发输入/销毁），
将来若引入 UniFFI 只替换本层。
线程与锁纪律（决定接口形态）：
- nativeNextFrame 等帧期间不持会话锁（clone Arc<Session> 后即释放），
桌面静止 500ms 帧间隔不会卡住 UI 线程的输入调用
- destroy 前必须先停解码线程，Kotlin 侧顺序纪律保证（已登记风险清单）
- 句柄 = Box 裸指针（永不为 0），destroy 后置 0
帧返回约定：byte[] = [keyframe 标志 1][seq 8][ts 8][w 4][h 4][Annex-B payload]，
定长 25 字节头，Kotlin 切片零 JNI 往返。
viewer-core 适配：Session.frames 改 Arc<tokio Mutex>，next_frame 取 &self，
使解码线程与输入线程可并发借用同一 Session。
验证：
- 桌面 cargo build -p android-ffi 零警告
- cargo ndk -t arm64-v8a --release：quinn/ring/rustls 交叉编译全部通过
（消除阶段 1 最大未知：QUIC 栈能否编到 Android）
- libandroidffi.so 4.2MB，10 个 Java_com_verify_remote_RustBridge_* 符号导出正确
|
2026-10-29 18:27:34 +08:00 |
|
郑博文
|
34df7b070b
|
feat(viewer-core): 新增安卓主控的连接/协议/收帧层（阶段 1 桌面验证通过）
定位（2026-10-29 方案裁决 A1-A4）：
纯 Rust、平台无关，只做「怎么连 + 收发什么」——QUIC 会话、协议 v2 认证、
视频帧流、输入上行、Ping/Pong、KeyFrameReq。解码/渲染/触摸全在 Kotlin 侧，
本 crate 不碰像素、不依赖 openh264（dev-dependency 仅验证工具用）。
设计要点
- PeerTarget::Direct 是唯一的连接形态；不做中继、不定义 Relay 变体
（《多平台架构设计》§6.1 裁决）。将来设备码+打洞只换 connect() 内部。
- 帧经容量 2 的 mpsc 交付，**不丢帧**：跳帧决策属于看得到解码器状态的消费方
（Kotlin），Rust 层丢帧会重演 R-3 教训（跳帧断参考链）。
- insecure_skip_verify=false 时明确报错而非静默放行——证书钉扎登记在方案
阶段 4，安全红线不允许默默降级。
- 双流结构与桌面 viewer 一致（流1 认证+视频，流2 输入+控制），入会即请求 IDR。
验证（headless，桌面→桌面 127.0.0.1）
- 单测 3 passed（帧契约、默认配置、strict-verify 显式报错）
- examples/headless_check：300 帧，seq 违例 0、keyframe 标志不符 0、
解码成功 300/300、RTT 路径工作（RTT=1ms 出现）
- 全 workspace 回归：common 20 passed，构建全绿
|
2026-10-29 18:14:27 +08:00 |
|