基于人类反馈的强化学习（RLHF）是一种使用人类偏好信号使 AI 模型输出与期望行为对齐的训练技术。与标准标注不同，RLHF 标注需要审核员做出细粒度的比较判断——按有用性、准确性和安全性对回复进行排序——通常涉及需要领域专业知识的技术领域。不一致或低质量的排序会直接降低奖励模型性能，使标注员培训和质量控制至关重要。

我们生产偏好数据集（成对和多路排序）、思维链推理链、智能体轨迹校正数据、工具使用验证数据集、多轮对话评估数据，以及监督微调（SFT）示范数据集。我们与您的团队合作定义符合您模型训练流水线的数据模式和标注指南。

我们采用标注员入职培训与指南培训、生产开始前的校准任务、持续的标注员间一致性（IAA）测量以及高级审核员抽样审查的组合机制。对于一致性要求严格的项目，也可以使用更小规模、更专业化的审核团队，提高每个任务的审核重叠率。

可以。我们的标注员网络涵盖工程、医学、法律、金融等技术领域的专业人员。对于专业 RLHF 项目——如代码补全排序、临床推理评估或法律论据评估——我们根据领域需求分配具备相应背景的审核员，而非通用标注员。

大多数试点数据集（通常 500 到 2,000 个标注样本）可在两到四周内完成，具体取决于复杂度、标注员要求和所需的审核轮次。我们建议先从试点开始，验证指南和质量指标后再扩展到更大数据量。