腾讯(tencent)招聘微信 -WeLM 算子开发工程师(深圳、上海)
招聘职位:
微信 -WeLM 算子开发工程师(深圳、上海) 搜索同类职位
岗位职责:
1.针对 Hopper / Blackwell 架构进行 Kernel 开发与优化;
2.基于 CUDA / PTX / Triton 设计和实现大模型训练中的核心算子 Kernel:;
3.结合 Hopper / Blackwell 特性,在线程组织、访存路径、寄存器/共享内存使用、Tensor Core 调度等层面做深度优化;
4.构建高性能训练算子库;
5.针对 WeLM 模型结构进行算子设计与融合,降低 Kernel 调度和访存开销;
6.参与 WeLM 内部高性能算子库的建设,与 PyTorch 及 cuBLAS、cuDNN、CUTLASS 等库进行集成或替换;
7.Kernel 性能分析与瓶颈优化;
8.使用 Nsight Compute / Nsight Systems / nvprof 等工具做 Kernel 级性能剖析;
9.分析 SM 利用率、Tensor Core 利用率、访存带宽、指令吞吐、分支发散等指标,持续迭代 Kernel 实现;
10.为上层训练框架提供关于 batch 设计、sequence length、并行策略等与性能相关的技术建议;
11.前沿技术跟踪与工程落地;
12.跟踪 GPU 新架构、新指令、新库(如最新 CUTLASS、NCCL 等);
13.学习业界优秀实现(Megatron-LM、DeepSpeed、Deepseek 等)的 Kernel/算子方案,并在 WeLM 体系内做工程化落地。
岗位要求:
1.计算机、电子工程、数学、物理等相关专业,本科及以上学历(硕士/博士优先);
2.扎实的C/C++ 编程能力,良好的代码风格和工程习惯;
3.熟练使用CUDA 进行 GPU 编程,有亲自写过或优化过 Kernel 的实战经验:;
4.理解 warp/block/grid、共享内存、寄存器分配、协同访存等基本概念;
5.能根据 profiler 结果定位性能瓶颈,并有针对性地改进 Kernel;
6.对GPU 架构与并行计算有较深入理解,熟悉以下至少一项:;
7.CUDA 核心库(cuBLAS / cuDNN 等)或 CUTLASS;
8.Triton 等高性能算子开发框架;
9.Nsight Compute / Nsight Systems / nvprof 等性能分析工具;
10.对数值计算 / 深度学习基础算子 有一定理解,如矩阵乘法、归一化、激活函数、Embedding 等。
加分项:
1.为 PyTorch / TensorFlow / JAX 等框架开发过自定义 CUDA 算子,或参与高性能算子/Kernel 相关开源项目;
2.使用过 H100 等数据中心 GPU 做过中大型模型训练性能调优,对实际集群环境中的性能问题有经验;
3.熟悉 PTX / SASS,能阅读并适度调整编译生成代码以做进一步优化;
4.在 GPU / HPC / 深度学习系统方向有高质量论文或开源成果者优先。
1.针对 Hopper / Blackwell 架构进行 Kernel 开发与优化;
2.基于 CUDA / PTX / Triton 设计和实现大模型训练中的核心算子 Kernel:;
3.结合 Hopper / Blackwell 特性,在线程组织、访存路径、寄存器/共享内存使用、Tensor Core 调度等层面做深度优化;
4.构建高性能训练算子库;
5.针对 WeLM 模型结构进行算子设计与融合,降低 Kernel 调度和访存开销;
6.参与 WeLM 内部高性能算子库的建设,与 PyTorch 及 cuBLAS、cuDNN、CUTLASS 等库进行集成或替换;
7.Kernel 性能分析与瓶颈优化;
8.使用 Nsight Compute / Nsight Systems / nvprof 等工具做 Kernel 级性能剖析;
9.分析 SM 利用率、Tensor Core 利用率、访存带宽、指令吞吐、分支发散等指标,持续迭代 Kernel 实现;
10.为上层训练框架提供关于 batch 设计、sequence length、并行策略等与性能相关的技术建议;
11.前沿技术跟踪与工程落地;
12.跟踪 GPU 新架构、新指令、新库(如最新 CUTLASS、NCCL 等);
13.学习业界优秀实现(Megatron-LM、DeepSpeed、Deepseek 等)的 Kernel/算子方案,并在 WeLM 体系内做工程化落地。
岗位要求:
1.计算机、电子工程、数学、物理等相关专业,本科及以上学历(硕士/博士优先);
2.扎实的C/C++ 编程能力,良好的代码风格和工程习惯;
3.熟练使用CUDA 进行 GPU 编程,有亲自写过或优化过 Kernel 的实战经验:;
4.理解 warp/block/grid、共享内存、寄存器分配、协同访存等基本概念;
5.能根据 profiler 结果定位性能瓶颈,并有针对性地改进 Kernel;
6.对GPU 架构与并行计算有较深入理解,熟悉以下至少一项:;
7.CUDA 核心库(cuBLAS / cuDNN 等)或 CUTLASS;
8.Triton 等高性能算子开发框架;
9.Nsight Compute / Nsight Systems / nvprof 等性能分析工具;
10.对数值计算 / 深度学习基础算子 有一定理解,如矩阵乘法、归一化、激活函数、Embedding 等。
加分项:
1.为 PyTorch / TensorFlow / JAX 等框架开发过自定义 CUDA 算子,或参与高性能算子/Kernel 相关开源项目;
2.使用过 H100 等数据中心 GPU 做过中大型模型训练性能调优,对实际集群环境中的性能问题有经验;
3.熟悉 PTX / SASS,能阅读并适度调整编译生成代码以做进一步优化;
4.在 GPU / HPC / 深度学习系统方向有高质量论文或开源成果者优先。
免责声明:
此信息由腾讯官网 (查看来源)审核并发布,我们转载该信息,仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“腾讯官网”负责。我们作为信息转载平台,不构成求职建议,不涉及任何职业中介服务,不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎,自行判断并承担相应风险,求职请认准企业官方渠道!