小红书(xiaohongshu)招聘大模型训练基础架构工程师
招聘职位：
大模型训练基础架构工程师 搜索同类职位
岗位职责：
【部门介绍】引擎架构部提供小红书搜广推，CV和NLP业务的深度学习模型高性能AI Infra服务。主导SOTA AI Infra架构设计与核心模块开发，支撑AI业务在大规模多模态生成式搜广推等前沿场景上规模落地。
【岗位职责】
1、开发支持下一代多模态生成式搜广推超大规模（百亿-万亿级）模型的GPU千卡互联分布式训练框架。
2、通过分布式并行/流水线/通信优化或ZeRO等，消除大规模分布式训练通讯/计算/内存瓶颈。
3、通过Triton，TileLang计算图编译优化或者使用CUDA/cutlass编写高性能算子，将硬件性能压榨到极致，最大化发挥出CPU/GPU等异构硬件协同算力。
4、支撑业界领先的多模态模型在国内最大的生活兴趣社区上落地。
任职要求：
1. 有扎实的工程算法基础，精通数据结构和常用算法，熟练掌握各种编译、调试、性能分析工具。
2. 精通C/C++/CUDA，具备扎实的系统底层能力（内存、并发、网络）。
3. 有大规模分布式系统开发和优化经验；有大模型分布式训练经验者优先。
4. 精通MLIR/TVM/Triton/Torch Inductor/TileLang/Verbs/NCCL/NVSHMEM等分布式异构计算框架和相关工具链。
5. 精通Megatron/DeepSpeed/veRL/OpenRLHF/LLaMA-Factory等业界开源训练框架。
6. 熟悉常见深度学习模型结构。
【加分项】
• 在Megatron、DeepSpeed、veRL、TVM、LLVM等社区有持续代码贡献。
【部门介绍】引擎架构部提供小红书搜广推，CV和NLP业务的深度学习模型高性能AI Infra服务。主导SOTA AI Infra架构设计与核心模块开发，支撑AI业务在大规模多模态生成式搜广推等前沿场景上规模落地。
【岗位职责】
1、开发支持下一代多模态生成式搜广推超大规模（百亿-万亿级）模型的GPU千卡互联分布式训练框架。
2、通过分布式并行/流水线/通信优化或ZeRO等，消除大规模分布式训练通讯/计算/内存瓶颈。
3、通过Triton，TileLang计算图编译优化或者使用CUDA/cutlass编写高性能算子，将硬件性能压榨到极致，最大化发挥出CPU/GPU等异构硬件协同算力。
4、支撑业界领先的多模态模型在国内最大的生活兴趣社区上落地。
任职要求：
1. 有扎实的工程算法基础，精通数据结构和常用算法，熟练掌握各种编译、调试、性能分析工具。
2. 精通C/C++/CUDA，具备扎实的系统底层能力（内存、并发、网络）。
3. 有大规模分布式系统开发和优化经验；有大模型分布式训练经验者优先。
4. 精通MLIR/TVM/Triton/Torch Inductor/TileLang/Verbs/NCCL/NVSHMEM等分布式异构计算框架和相关工具链。
5. 精通Megatron/DeepSpeed/veRL/OpenRLHF/LLaMA-Factory等业界开源训练框架。
6. 熟悉常见深度学习模型结构。
【加分项】
• 在Megatron、DeepSpeed、veRL、TVM、LLVM等社区有持续代码贡献。
免责声明：
此信息由小红书官网 (查看来源)审核并发布，我们转载该信息，仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“小红书官网”负责。我们作为信息转载平台，不构成求职建议，不涉及任何职业中介服务，不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎，自行判断并承担相应风险，求职请认准企业官方渠道！
