腾讯(tencent)招聘游戏模型评测专家

岗位职责：
1.构建游戏模型评测体系：通过紧跟先进模型及应用的前沿发展，设计全面、准确的多维度指标，建立覆盖多模态（文本/语音/图像/视频/3D等）生成、多模态理解等全面、多维度的评测体系；
2.构建游戏模型评测流程：协同多方相关团队梳理并构建游戏模型评测流程，定期监控模型效果，分析问题并提供优化方案，把模型评测流程高效落地；
3.积极洞察行业动态：持续完善评测体系、快速反馈行业动态及模型能力，发现行业模型以及应用的前进方向、亮点；
4.结果归因：通过各种数据分析方法，深度分析模型评测结果，为模型的更新调优提供精准的问题分析结论。
岗位要求：
1.计算机等相关专业硕士或以上学历，对大模型和游戏都有深度了解；
2.了解大模型的基本原理和评测方法，能设计合理的评测指标和评测流程；
3.具备数据分析能力，能从评测结果中提炼规律、定位问题根因、输出可执行的优化建议；
4.有评测系统或质量保障系统的开发经验，能独立设计自动化评测流水线；
5.具备 Python 工程能力，熟悉常用数据分析和可视化工具；
6.逻辑严谨，注重细节，能在主观评价与量化指标之间找到平衡；
7.拥有出色的沟通协调能力、严谨的逻辑思维能力与深度数据分析能力，善于发现问题并提出系统性解决方案，具备良好的团队协作精神。
加分项：
1.有 LLM 评测经验（如 MMLU、MT-Bench、人工评测、LLM-as-Judge 等）；
2.有游戏行业 QA 或数据质量保障经验；
3.有 A/B 测试平台开发或实验设计经验；
4.了解 RLHF/DPO 中 reward model 的评测逻辑。