腾讯(tencent)招聘推理框架研发工程师-(深圳)or(北京)or
招聘职位:
推理框架研发工程师-(深圳)or(北京)or 搜索同类职位
岗位职责:
1.研发及优化大模型推理引擎、PD分离推理调度系统,提升大规模分布式推理系统的整体效率;
2.支持主流GPU和异构AI芯片,优化大模型推理性能,打造极致性能成本优势。
岗位要求:
1.熟练掌握C/C++、Python编程语言,具备良好的coding和调试能力;
2.熟悉主流大模型推理框架,如vllm,sglang,tensorrt-llm等,具备语言、多模态模型大规模部署和优化经验;
3.熟悉并行策略,如数据并行、流水线并行等,熟悉NVLINK、GPU RDMA通信者优先;
4.熟悉各类深度学习网络和算子底层实现细节,有实操经验优先;
5.熟悉主流开源模型及其架构特点,具备针对不同模型进行分析优化的能力优先;
6.具备GPU、AI芯片体系结构知识,熟悉芯片特性,具备系统性能分析和调优经验优先。
加分项:
1.熟悉常见的算子编译优化、图优化和算子融合流程,如torch.compile,triton,tilelang等;
2.熟悉GPU/AI芯片编程,如CUDA,Ascend C等,熟悉cutlass等加速库;
3.机器学习或者体系结构相关顶会论文;
4.参与vllm、sglang等开源项目贡献者。
岗位介绍:
在腾讯,后台开发工程师不仅是“又快又稳”的问题解决专家,更是生态共创者。你将与技术团队一同沉淀优质代码,让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段,你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神,同时欢迎你一起参与团队愿景、文化和产品方向的探讨。
1.研发及优化大模型推理引擎、PD分离推理调度系统,提升大规模分布式推理系统的整体效率;
2.支持主流GPU和异构AI芯片,优化大模型推理性能,打造极致性能成本优势。
岗位要求:
1.熟练掌握C/C++、Python编程语言,具备良好的coding和调试能力;
2.熟悉主流大模型推理框架,如vllm,sglang,tensorrt-llm等,具备语言、多模态模型大规模部署和优化经验;
3.熟悉并行策略,如数据并行、流水线并行等,熟悉NVLINK、GPU RDMA通信者优先;
4.熟悉各类深度学习网络和算子底层实现细节,有实操经验优先;
5.熟悉主流开源模型及其架构特点,具备针对不同模型进行分析优化的能力优先;
6.具备GPU、AI芯片体系结构知识,熟悉芯片特性,具备系统性能分析和调优经验优先。
加分项:
1.熟悉常见的算子编译优化、图优化和算子融合流程,如torch.compile,triton,tilelang等;
2.熟悉GPU/AI芯片编程,如CUDA,Ascend C等,熟悉cutlass等加速库;
3.机器学习或者体系结构相关顶会论文;
4.参与vllm、sglang等开源项目贡献者。
岗位介绍:
在腾讯,后台开发工程师不仅是“又快又稳”的问题解决专家,更是生态共创者。你将与技术团队一同沉淀优质代码,让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段,你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神,同时欢迎你一起参与团队愿景、文化和产品方向的探讨。
免责声明:
此信息由腾讯官网 (查看来源)审核并发布,我们转载该信息,仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“腾讯官网”负责。我们作为信息转载平台,不构成求职建议,不涉及任何职业中介服务,不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎,自行判断并承担相应风险,求职请认准企业官方渠道!