参与大语言模型(LLM)训练数据的标注与质量评审工作,覆盖对话生成、指令遵循、代码补全等任务的标注。负责按照标注指南(annotation guideline)对模型输出进行多维度打分,包括准确性、安全性、一致性及有用性。同时承担 质检员(
参与大语言模型(LLM)训练数据的标注与质量评审工作,覆盖对话生成、指令遵循、代码补全等任务的标注。负责按照标注指南(annotation guideline)对模型输出进行多维度打分,包括准确性、安全性、一致性及有用性。同时承担 质检员(QA) 角色,定期交叉校验团队成员标注结果,将 inter-annotator agreement(标注一致性) 从 82% 提升至 93%。使用内部工具对争议样本进行复盘讨论,总结常见错误模式并反哺到标注规范的迭代中,形成标注—质检—规范优化的闭环。
Not specified