小红书(xiaohongshu)招聘大模型 MaaS 网关研发工程师/专家
招聘职位：
大模型 MaaS 网关研发工程师/专家 搜索同类职位
岗位职责：
1、MaaS 网关架构与研发：负责大模型 MaaS 网关的整体架构设计与核心研发，建设公司统一的大模型 API 服务入口，提供 OpenAI 兼容 API。
2、模型接入与路由：负责多模型接入抽象、请求路由、模型版本管理、灰度发布等能力，支撑异构推理后端的统一对外服务。
3、服务治理能力建设：负责鉴权、限流、配额、TPM / RPM、流控、熔断降级、SLO 保障、成本统计等网关核心治理能力。
4、多租户与高并发：建设多模型、多租户、高并发场景下的请求调度与服务治理体系，提升模型服务的稳定性和资源效率。
5、开发者体验优化：持续优化统一 API、SDK、文档、监控、问题诊断和接入流程，提升内部 AI 应用开发效率。
6、业务打通与协同：与推理引擎、调度、算法及上层业务团队协同，为社区、搜索、审核、企效、AI 应用等场景提供开箱即用的大模型服务能力。
任职要求：
1、熟悉 Go / Rust / Java / Python / C++ 中至少一门语言,具备扎实的服务端研发能力。
2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统等相关经验。
3、能对复杂业务问题进行系统建模和抽象,具备良好的稳定性、可观测性和工程质量意识。
4、了解大模型推理服务基本链路,对模型部署、请求调度、服务高可用、SLO 保障等有基本认知。
5、具备良好的沟通协作能力,能与推理框架、平台、算法和业务团队协同推进项目落地。
加分项
1、有 LLM / MLLM 模型服务平台、MaaS 平台、API 网关、云服务平台开发经验。
2、熟悉主流大模型推理引擎(vLLM、SGLang、TensorRT-LLM 等)及 OpenAI 兼容 API 规范。
3、有 Higress / LiteLLM / NewAPI / Kong / Envoy / GIE 等 AI 网关、LLM 网关或 Service Mesh 二次开发经验。
4、有顶会论文(MLSys / OSDI / SOSP / NSDI 等)、开源项目或业界峰会技术分享经验。
1、MaaS 网关架构与研发：负责大模型 MaaS 网关的整体架构设计与核心研发，建设公司统一的大模型 API 服务入口，提供 OpenAI 兼容 API。
2、模型接入与路由：负责多模型接入抽象、请求路由、模型版本管理、灰度发布等能力，支撑异构推理后端的统一对外服务。
3、服务治理能力建设：负责鉴权、限流、配额、TPM / RPM、流控、熔断降级、SLO 保障、成本统计等网关核心治理能力。
4、多租户与高并发：建设多模型、多租户、高并发场景下的请求调度与服务治理体系，提升模型服务的稳定性和资源效率。
5、开发者体验优化：持续优化统一 API、SDK、文档、监控、问题诊断和接入流程，提升内部 AI 应用开发效率。
6、业务打通与协同：与推理引擎、调度、算法及上层业务团队协同，为社区、搜索、审核、企效、AI 应用等场景提供开箱即用的大模型服务能力。
任职要求：
1、熟悉 Go / Rust / Java / Python / C++ 中至少一门语言,具备扎实的服务端研发能力。
2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统等相关经验。
3、能对复杂业务问题进行系统建模和抽象,具备良好的稳定性、可观测性和工程质量意识。
4、了解大模型推理服务基本链路,对模型部署、请求调度、服务高可用、SLO 保障等有基本认知。
5、具备良好的沟通协作能力,能与推理框架、平台、算法和业务团队协同推进项目落地。
加分项
1、有 LLM / MLLM 模型服务平台、MaaS 平台、API 网关、云服务平台开发经验。
2、熟悉主流大模型推理引擎(vLLM、SGLang、TensorRT-LLM 等)及 OpenAI 兼容 API 规范。
3、有 Higress / LiteLLM / NewAPI / Kong / Envoy / GIE 等 AI 网关、LLM 网关或 Service Mesh 二次开发经验。
4、有顶会论文(MLSys / OSDI / SOSP / NSDI 等)、开源项目或业界峰会技术分享经验。
免责声明：
此信息由小红书官网 (查看来源)审核并发布，我们转载该信息，仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“小红书官网”负责。我们作为信息转载平台，不构成求职建议，不涉及任何职业中介服务，不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎，自行判断并承担相应风险，求职请认准企业官方渠道！