喵斯快跑本地视觉辅助原型:从 MSS 10 FPS 到 WGC 双进程共享内存与模板补盲
本文目录(4 节)
10 月 27 日我在 F:\MuseDashPilot 搭了一个纯本地视觉的《喵斯快跑》(Muse Dash)自动游玩实验原型:不读写游戏内存、不注入 DLL,完全靠捕获前台 1280×720 游戏窗口画面,经 ONNX Runtime(DirectML 显卡推理)识别上下轨目标、跨帧拟合到达判定线的时间,再通过键盘接口发 F(上轨)和 J(下轨)。
在离线录像上跑通模型只是第一步,真正切到游戏前台实测时,采集帧率、UI 预览阻塞和特定怪物漏检接连把原型打回原形。这篇把当天修通的四处工程瓶颈和还没解决的边界如实记下来。
1. 采集瓶颈:MSS 实机掉到 10 FPS,改用 Windows Graphics Capture
第一版抓屏图省事用了 mss,在离线视频回放里 DirectML 检测 + 跟踪中位数耗时只有 11.26 ms(P95 13.86 ms),看起来绰绰有余。但一开真实游戏前台跑,采集加推理帧率直接掉到约 10 FPS,绝大部分帧因为帧龄(frame age)超过安全阈值被调度器主动丢弃,根本发不出键。
把采集层换成 Windows Graphics Capture(WGC)(仅在显卡捕获不可用时回退 MSS)后,前台实测数据立刻拉了回来:
- WGC 采集帧率:中位数约 106–113 FPS
- 实时检测与跟踪:约 28–35 FPS
- 画面帧龄(Frame Age):中位数约 37–40 ms,P95 约 59–62 ms
同时修了退出时的一个采集关闭竞态:用生命周期锁保住 WGC 会话释放顺序,停止或切出游戏窗口时第一时间释放已按下的按键。
2. 预览卡顿:把 Tkinter 界面和实时识别拆成双进程共享内存
即使换上 WGC,只要打开带检测框的实时预览窗口,画面依然肉眼可见地一卡一顿。原因是单进程里既要做 ONNX 推理、诊断截图缩放合成与磁盘编码,又要跑 Tkinter 的 PhotoImage 主线程刷新。
我把架构拆成了两个独立进程:
- 实时采集/识别/发键进程:独占最高优先级,只把最新一帧预览写入固定大小的共享内存(Shared Memory),旧帧直接覆盖,绝不排队回放;动作前后的诊断图(
data/action-tests/)缩放与编码也移出识别主循环。 - Tkinter 预览进程:以
640像素宽缓冲轮询共享内存,复用同一个 Tk 图片对象并做双线性缩放,上限锁在 30 FPS。
拆分后实测 16 秒运行:每帧 UI 绘制耗时中位数降到 3.5 ms,画面到处理完成的端到端延迟中位数约 22 ms(P95 约 30 ms)。哪怕 UI 窗口暂停轮询,后台识别进程也丝毫不受影响。
3. 演奏 HUD 锚点与上轨漏检:灰度模板 + 峰值颜色校验
实战里还撞上两个视觉识别坑:
- HUD 锚点随血量失效:最初用底部的爱心图标判断当前是否在演奏界面,结果角色掉血或换状态时锚点直接失配;改成匹配固定不变的「得分」标签,并单独为暂停界面做拒绝模板后,
3145 / 3151帧演奏画面稳定命中,20 张菜单与暂停截图 100% 拒绝。 - 第三方 YOLO 模型漏检上轨目标:在
20261027-200024-316600那轮 25 秒纯自动诊断里,程序发出的 24 次按键居然全在下轨,上轨一次没按——翻动作前后抓拍图才发现,第三方 ONNX 模型漏掉了远处的帽子敌人,且对上轨蓝帽敌人、上下轨蓝/粉气球猫大量漏检。
如果给每个漏检目标都在全画面跑三通道 matchTemplate,耗时又会爆表。最终的做法是:先在限制好的上下轨垂直搜索带内做单通道灰度模板匹配,找到候选峰值后再做局部颜色校验,并与 ONNX 检测框做 NMS 去重;同时在跨帧跟踪里按运动轨迹保持目标 ID,避免模型中途类别抖动导致轨迹断裂。
补齐模板后,两张本地复杂场景图的完整检测(ONNX + 多模板补盲 + 跟踪)合计耗时中位数控制在 23 ms(P95 27 ms),31 项单元测试全部通过。
4. 诚实的边界:为什么它还远不算“自动通关程序”
写音游辅助最容易拿一段混了手打的录像吹命中率。在复盘首段 3151 帧样本(20261027-165404-751402700-manual)时,确认其中约一半是手动按键,我直接把基于那段录像算出来的模拟命中与漏发统计全部作废,只拿它当视觉和帧率回归集。
在完全无手动干预的 20261027-184611-189400 诊断短测中,虽然能抓拍到动作前后的局部图,但部分判定显示 PERFECT LATE,把时间偏移调到 -20 ms(按键时长 40 ms、输入提前量 8 ms)后整曲命中率依然不高,而且长按(Hold)、齿轮障碍和 Boss 连打目前只标橙色框观察、尚未接入按键执行。把采集、共享内存和可观测诊断台账搭扎实,下一步才能老老实实对齐真实判定偏移。