GUI 定位与交互
模型能描述一张截图；悬而未决的是，它能否操作截图里的界面。我们构建的 GUI 数据，将自然语言意图钉在精确的屏幕目标上：每个可交互元素都已定位，每个操作都落在其作用的像素与无障碍树上，每个结果都对照其产生的界面状态核验。数据覆盖网页、桌面与移动端，定位能力得以迁移，不致过拟合于单一界面。
覆盖范围
- 网页、桌面与移动端
- 元素定位
- 操作轨迹
- 无障碍树与 DOM 树
- 屏幕状态验证
- 跨分辨率渲染
交付内容
- 已标注截图
- 元素框、角色与标签
- 操作序列
- 无障碍树 / DOM 树
- 逐步状态检查
- 任务与指令规格
从源头到验收
我们从不堆一批人工标注，便草草交付。每类数据都要走完一个封闭且全程可观测的循环：依需求生成，经机器检查，由专家裁决，端到端可追溯。而每类数据所走的路径，各有不同。
- 01
界面采集
以真实分辨率采集网页、桌面与移动端屏幕，每帧都配有无障碍树与 DOM，让每个可见元素都有机器可读的身份，而不只是一片像素。
- 02
元素定位
每个可交互目标都以紧致的边界框、角色与标签定位，指称性指令因此指向唯一、无歧义的屏幕元素，而非一个大致区域。
- 03
操作轨迹编写
逐步执行任务——点击、输入、滚动、拖拽——每个操作都连同其作用时的屏幕状态一并记录，完整呈现从指令到界面的闭环，而非孤立的一帧。
- 04
状态验证
每个有后果的操作都对照随后的界面状态核验，把一段录屏变为一串经过验证的状态转移，成败信号清晰无歧义。
- 05
跨界面均衡
在平台、分辨率、主题与布局之间按设计均衡覆盖，让定位学到界面的不变结构，而非某个应用的个别习性。
- 06
一致性评审
评审时将元素标签、操作目标与状态检查同原始采集逐一核对，确保记录的轨迹与屏幕上发生的分毫不差。
每轮运行都会产生学习信号，回流至源数据集；流水线由此逐批自我收紧。
应用场景
- 训练 GUI 定位与指称表达定位
- 教会计算机使用智能体在真实界面上规划与行动
- 对照经验证的屏幕状态评估点击 / 输入准确率
对训练的意义
关键
GUI 操控是语言通往软件的桥梁：若无像素级的精确定位与可验证的屏幕状态，智能体纵能规划操作，也难以稳稳落实。
主要特点
需要样本，或想定制构建？
告诉我们规格与规模，我们按单交付。
← 返回数据