Tools & Integrations
录制与回放
使用 Munk AI 内置的 Web UI 交互式地录制测试用例、调试设备状态,并为后续自动化回放做准备。
当你需要直观地查看 AI Agent 眼中的应用状态,或者想要手动录制一个复杂的测试用例供后续使用时,Munk AI 提供了一个内置的本地 Web UI。它充当了你、目标设备和 AI 记忆之间的桥梁。
适用场景
- 可视化调试: 查看 Munk AI 正在分析的真实屏幕状态、UI 树解析结果和元素边界。
- 手动录制用例: 直接在浏览器中与应用交互,录制可靠的
TestCase,而无需手动编写 JSON 配置。 - 本地优先保护隐私: Web UI 直接连接到你的本地设备(例如通过
scrcpy连接 Android 模拟器,或本地 Chromium 浏览器),不会将你的应用数据上传到云端。
前置准备
在启动录制服务之前,请确保:
- 已安装 Munk CLI。
- 如果测试 Android,确保已通过
adb连接了模拟器或真机。
启动 Web UI
运行 serve 命令来启动 Local API 和 Web GUI 服务。
munk serve --port 16888
启动成功后,打开浏览器并访问终端中显示的地址(通常是 http://127.0.0.1:16888/)。
Web UI 核心功能
Web UI 采用了类似 IDE 的左右分栏布局:
- 实时画面 (左侧区域): 目标设备的实时视频流镜像。你可以直接在这个区域点击、滑动,就像真实用户操作一样。
- 审查器与时间线 (右侧区域):
- 观测树 (Observation Tree): 查看 AI 解析后的 UI 层级结构。
- 动作时间线 (Action Timeline): 你在实时画面中的每一次点击或输入,都会被记录为一个语义化动作(例如:
点击元素:'提交' 按钮)。 - 状态捕获 (State Captures): 你可以捕获特定的屏幕状态,将其作为测试用例中的断言条件 (
expected)。
导出与自动化回放
当你在 Web UI 中手动走完目标流程后:
- 停止录制。
- 检查时间线中捕获的步骤是否准确。
- 将时间线导出为一个
TestCase产物。
导出的产物可以直接用于 munk run case 或 munk verify change 命令中。这样,你或你的 CI 流水线就可以利用 Munk AI 自动、语义化地回放这段完全相同的测试步骤。
