小红书(xiaohongshu)招聘dots-模型结构算法工程师
招聘职位：
dots-模型结构算法工程师 搜索同类职位
岗位职责：
关于团队
我们是公司核心的 LLM 预训练团队，负责下一代基座模型的架构设计与训练系统研发。
团队聚焦：
- Scaling Law
- 优化器与训练稳定性
- 长上下文与推理能力扩展
- 高效训练与推理
- MoE 与稀疏化架构
我们关注的不只是"把模型做大"。我们更关注：什么样的结构、优化与训练机制，能够让模型更高效地产生智能。
你将参与的方向
1. Scaling Law 与能力扩展
研究模型能力如何随着以下维度共同演化：
- 参数规模
- 数据规模
- Token 数量
- Inference Compute
- Context Length
你将参与设计大规模实验，并分析不同结构与训练策略下的 scaling behavior。
2. 新型模型结构探索
探索 Transformer 之后的结构优化方向，包括但不限于：
- MoE
- Hybrid Attention
- Retrieval-enhanced Architecture
以及：长上下文建模 / KV Cache 优化 / 推理效率优化 / 稀疏化与动态计算
我们希望找到：真正影响模型能力边界的结构，而不是参数堆叠。
3. 优化器与训练系统
研究超大模型训练中的优化与稳定性问题，包括：
- AdamW / Muon / Sophia / Shampoo 等优化器探索
- 混合精度训练
- 大 Batch 训练
- 大规模训练异常分析
任职要求：
我们希望你具备
基础要求
- 计算机 / 数学 / 物理等相关专业本科以上
- 扎实的 Python 能力，熟悉 PyTorch
- 良好的机器学习与深度学习基础
加分项
数学 / 算法能力强：ACM / ICPC / NOI / IOI / 数学物理竞赛背景 / 强统计学与优化基础
有大模型训练经验：Pretraining / MoE / 长上下文训练 / 多模态训练
有系统与性能优化能力：有分布式训练或 CUDA / Triton 算子优化经验者优先
Research Taste（重点加分）
- 喜欢研究 loss curve 与训练 dynamics
- 对 emergent ability 有强烈好奇心
- 愿意做长期大规模实验
- 对"为什么有效"比"调出结果"更感兴趣
关于团队
我们是公司核心的 LLM 预训练团队，负责下一代基座模型的架构设计与训练系统研发。
团队聚焦：
- Scaling Law
- 优化器与训练稳定性
- 长上下文与推理能力扩展
- 高效训练与推理
- MoE 与稀疏化架构
我们关注的不只是"把模型做大"。我们更关注：什么样的结构、优化与训练机制，能够让模型更高效地产生智能。
你将参与的方向
1. Scaling Law 与能力扩展
研究模型能力如何随着以下维度共同演化：
- 参数规模
- 数据规模
- Token 数量
- Inference Compute
- Context Length
你将参与设计大规模实验，并分析不同结构与训练策略下的 scaling behavior。
2. 新型模型结构探索
探索 Transformer 之后的结构优化方向，包括但不限于：
- MoE
- Hybrid Attention
- Retrieval-enhanced Architecture
以及：长上下文建模 / KV Cache 优化 / 推理效率优化 / 稀疏化与动态计算
我们希望找到：真正影响模型能力边界的结构，而不是参数堆叠。
3. 优化器与训练系统
研究超大模型训练中的优化与稳定性问题，包括：
- AdamW / Muon / Sophia / Shampoo 等优化器探索
- 混合精度训练
- 大 Batch 训练
- 大规模训练异常分析
任职要求：
我们希望你具备
基础要求
- 计算机 / 数学 / 物理等相关专业本科以上
- 扎实的 Python 能力，熟悉 PyTorch
- 良好的机器学习与深度学习基础
加分项
数学 / 算法能力强：ACM / ICPC / NOI / IOI / 数学物理竞赛背景 / 强统计学与优化基础
有大模型训练经验：Pretraining / MoE / 长上下文训练 / 多模态训练
有系统与性能优化能力：有分布式训练或 CUDA / Triton 算子优化经验者优先
Research Taste（重点加分）
- 喜欢研究 loss curve 与训练 dynamics
- 对 emergent ability 有强烈好奇心
- 愿意做长期大规模实验
- 对"为什么有效"比"调出结果"更感兴趣
免责声明：
此信息由小红书官网 (查看来源)审核并发布，我们转载该信息，仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“小红书官网”负责。我们作为信息转载平台，不构成求职建议，不涉及任何职业中介服务，不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎，自行判断并承担相应风险，求职请认准企业官方渠道！
