Context

客户正在开发与浏览器和桌面应用等数字环境交互的计算机使用智能体。为改进这些系统，他们需要人工生成的工作流程数据，以结构化、类智能体的方式展示真实用户如何逐步完成任务。所需输出包括屏幕录制和详细的交互日志，使该项目超越了简单的屏幕捕获或任务执行的范畴。

挑战

• 没有现成数据集可用，整个工作流程需要从零构建，包括场景创建、提示词编写和执行设计。
• 客户需要连续的多步骤任务流，而非孤立的单一动作，这使采集和验证的复杂度显著提高。
• 操作人员需要以流畅、确定性的方式执行任务，使生成的数据更接近理想的智能体行为，而非不一致的人类习惯。
• 输出要求同步的屏幕录制和动作日志，包括时间戳、点击坐标和交互历史，这对流程管控提出了较高要求。
• 在不引入不一致性的前提下扩大项目规模颇具难度，因为执行风格上的细微差异可能降低训练数据的价值。

我们的方案

• 我们设计了真实的计算机使用场景，反映跨多种工具和环境的完整工作流程。
• 我们为每个场景编写了结构化提示词，使操作人员能够以一致且低歧义的方式执行任务。
• 我们对操作人员进行培训，使其行为更接近智能体模式，专注于清晰性、一致性，并减少不必要的操作。
• 我们并行采集屏幕录制和结构化交互日志，确保每条轨迹都可用于下游建模。
• 我们实施了多层质量保证，包括步骤级审核和对完整轨迹的端到端一致性检查。
• 我们对从场景设计到数据采集和验证的整个流水线进行了标准化，使项目能够可靠地扩展。

成果

• 跨多个任务类别，交付了3,000条以上带有同步动作日志的轨迹录制。
• 质量保证通过率约达93%，大多数问题在步骤级审核阶段即被发现。
• 通过优化指令和改善操作人员培训，执行噪声减少了约40%。
• 根据客户侧评估反馈，有力支持了模型在多步骤规划和工具使用一致性方面的性能提升。
• 在3周内将生产团队扩展至20名以上操作人员，同时保持稳定的质量水平。