小红书招聘模型标注-LLM评测运营
招聘职位：
模型标注-LLM评测运营 搜索同类职位
岗位职责：
1、深度参与大模型评测体系建设，包括评测集管理、评测流程建设、评测工具需求定制与落地；
2、负责大模型评测体系、评测方案制定，评测指标、评测数据收集和更新，建设并管理科学、敏捷的评测pipeline，输出专业评测报告，为模型效果提升提供有价值的优化方向与反馈；
3、深度理解大模型技术与各种评测集构建方法，站在用户角度，制定针对性评测策略，为模型效果突破提出专业的建设性建议，推动技术迭代升级；
4、统筹协调上下游项目资源，对接算法团队需求，把控数据质量与项目进度，推动跨团队协作，确保目标高效达成。
任职要求：
1、硕士及以上学历，计算语言学、心理学、语言学、计算机等相关专业优先；
2、2年及以上大模型评测方向实战经验，熟悉各类评测方案的制定；
3、有大语言模型评测任务设计和标注的科研或工作经历者优先，有语义学/语用学/心理学研究经历者/论文发表者优先；
4、掌握基础编程技能（或AI编程），了解深度学习原理/模型原理或评测方案者优先；
5、具备优秀的数据分析能力和问题解决能力，善于跨团队沟通；
6、富有创新精神，逻辑思维强，能持续推动技术突破。
1、深度参与大模型评测体系建设，包括评测集管理、评测流程建设、评测工具需求定制与落地；
2、负责大模型评测体系、评测方案制定，评测指标、评测数据收集和更新，建设并管理科学、敏捷的评测pipeline，输出专业评测报告，为模型效果提升提供有价值的优化方向与反馈；
3、深度理解大模型技术与各种评测集构建方法，站在用户角度，制定针对性评测策略，为模型效果突破提出专业的建设性建议，推动技术迭代升级；
4、统筹协调上下游项目资源，对接算法团队需求，把控数据质量与项目进度，推动跨团队协作，确保目标高效达成。
任职要求：
1、硕士及以上学历，计算语言学、心理学、语言学、计算机等相关专业优先；
2、2年及以上大模型评测方向实战经验，熟悉各类评测方案的制定；
3、有大语言模型评测任务设计和标注的科研或工作经历者优先，有语义学/语用学/心理学研究经历者/论文发表者优先；
4、掌握基础编程技能（或AI编程），了解深度学习原理/模型原理或评测方案者优先；
5、具备优秀的数据分析能力和问题解决能力，善于跨团队沟通；
6、富有创新精神，逻辑思维强，能持续推动技术突破。
免责声明：
此信息由小红书官网 (查看来源)审核并发布，我们转载该信息，仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“小红书官网”负责。我们作为信息转载平台，不构成求职建议，不涉及任何职业中介服务，不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎，自行判断并承担相应风险，求职请认准企业官方渠道！
