您将评估对话式 AI 个性化功能在利用相关用户上下文生成实用、准确且自然的中文回复方面的表现。该工作结合了富有创意的提示词(prompt)编写、细致的模型回复审核以及书面反馈撰写。
- 编写并运行通常为 1 到 5 轮的对话提示词。
- 结合个人经历和上下文背景,测试模型能否建立起有价值的联结。
- 检查关于用户的陈述是否有事实依据,避免错误推断或模型幻觉。
- 从实用性(helpfulness)、易用性、趣味性、自然度以及上下文使用的恰当性等维度对比两种回复。
- 撰写简明扼要的判定依据,引用具体轮次并说明正面或负面评估结果。
- 查看调试信息,以确认摘要及相关数据源是否被正确使用。
- 在审核完成后删除评估对话,确保后续对话记录保持整洁。
薪资待遇与任职要求
本岗位为为期 3 个月的远程合同工职位,面向全球招聘,并要求与太平洋时间有重叠工作时段。
- 时薪 $15。
- 每天至少 4 小时,每周最多 40 小时。
- 与太平洋时间有 4 小时的重叠工作时段。
- 中文读写能力强。
- 具备结合个人上下文设计创意多轮提示词的经验。
- 理解个性化质量、事实依据(grounding)、错误推断及生硬关联等概念。
- 对模型回复之间的细微差异具有敏锐的洞察力。
- 具备清晰的书面表达能力,能够提供详细的标注说明和建设性反馈。
- 拥有政策、法律、伦理学、语言学、新闻学、计算机科学或相关分析领域的学士学位或同等实践经验。
- 具备数据标注、AI 质量评估、内容审核或相关领域经验者优先。
应聘流程
在 OpenTrain 上提交个人简历进行申请,随后在招聘平台完成应聘流程。
关于 AI 训练工作
AI 训练是支撑文本生成与理解系统背后的人工工作,包括编写提示词、对比模型回复以及阐述哪项回答更优。OpenTrain 帮助求职者发现此类项目、建立个人档案,并通过统一账号进行申请。