腾讯(tencent)招聘推理框架工程师

岗位职责：
1.研发及优化大模型推理引擎、PD分离推理调度系统；
2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。
岗位要求：
1.熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力；
2.熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm，FasterTransformer等；
3.熟悉Linux及docker、k8s，熟悉TCP/IP、HTTP等网络协议，有高并发系统的开发和运营的经验；
4.熟悉并行策略，如模型并行、流水线并行等，了解NVLINK、GPU通信者优先；
5.具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先；
6.具备较强的抗压能力、团队协作和沟通能力，能够高效，完成项目交付和技术创新；
7.注：此岗位为腾讯集团旗下子公司编制岗位。
加分项：
1.熟悉GPU/AI芯片编程，如CUDA，OpenCL，Ascend C等，熟悉cutlass等加速库；
2.机器学习或者体系结构相关顶会论文；
3.参与vllm、sglang等开源项目贡献者；
4.熟悉推理服务框架，具备服务部署经验者优先，有超大模型分布式部署经验优先；
5.通过腾讯云从业资格证或同等资格认证的优先录取。
岗位介绍：
在腾讯，后台开发工程师不仅是“又快又稳”的问题解决专家，更是生态共创者。你将与技术团队一同沉淀优质代码，让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段，你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神，同时欢迎你一起参与团队愿景、文化和产品方向的探讨。