哔哩哔哩(bilibili|b站)招聘资深大数据架构工程师-平台工程方向
招聘职位：
资深大数据架构工程师-平台工程方向 搜索同类职位
岗位介绍：
部门介绍
我们是bilibili基础架构部-大数据架构组，负责支撑全公司离线/实时数据基础设施的建设与演进。技术栈覆盖 Hadoop / Spark / Flink / Iceberg / ClickHouse / Kafka / ES / HDFS / Trino等主流开源生态，承担 EB级数据规模下的存储、计算、查询、治理全链路，峰值处理数据量级达到亿级别每秒。我们既是开源生态的深度使用者，也是社区贡献者——团队鼓励参与上游、推动改进合入主线。随着 AI 工具链的成熟，我们正在系统性地把 AI 能力融入大数据基础设施的开发、发布、运维、答疑全流程。这个岗位的一个核心使命，就是让大数据基础设施团队成为"AI-native"的工程团队。
职位描述
工作职责:
一、平台工程方向(集群管理 / 组件发布 / 运维诊断 / 资源治理)
1、主导大数据集群管理平台建设,支撑全公司万级节点、十数套核心组件的生命周期管理,包括但不限于:
（1）集群部署 / 扩缩容 / 滚动升级
（2）多集群、多机房统一管控
（3）配置中心、灰度发布、版本管理
2、主导大数据组件的发布与持续交付体系,包括但不限于:
（1）大数据组件(Hadoop / Spark / Flink / Kafka / ClickHouse 等)的 CI/CD 流水线建设
（2）自动化测试、变更影响分析、灰度策略、自动回滚
（3）内部分支管理与社区版本同步策略
3、主导大数据运维诊断体系建设,包括但不限于:
（1）全栈可观测性(Metrics / Logs / Tracing / Profiling)
（2）智能告警、根因分析、故障自愈
（3）慢任务 / 慢查询诊断、性能 profiling 自动化
4、主导大数据集群资源治理体系建设,包括但不限于:
（1）多租户隔离、配额管理、弹性资源池
（2）资源利用率分析、成本核算、容量规划
（3）K8s / YARN 混部、潮汐调度、超卖与回收
5、推动 AI × 平台融合:智能资源调优、AI Agent 运维助手、对话式集群管理
二、AI 赋能基础设施研发
1、熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具
2、主导 AI 流程自动化建设，为团队赋能：
（1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化
（2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策
（3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈
（4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成
3、沉淀 AI 工具链实践
工作要求:
【硬性条件】
●985 / 211 及以上院校全日制本科及以上学历，计算机相关专业
●5 年以上大数据相关工作经验
●至少深度参与过 1 个大型大数据基础设施项目（EB 级存储 / PB 级日处理 / 千节点以上集群 任一）
●Java / Scala / Go / Rust / C++ 中至少两门掌握扎实
●深度参与过大型数据平台 / 集群管理 / 运维体系(任一)的研发,服务过 >= 千节点 / >= 万级任务量
●熟练掌握 K8s(部署、Operator、调度、网络、存储)和 CI/CD(GitLab CI / Jenkins / Argo CD 等)
【能力素质(满足一项或多项)】
●对分布式系统、配置管理、可观测性有体系化认知
●主导过大数据组件在 K8s 上的容器化改造与落地(Spark on K8s / Flink K8s Operator 等)
●主导过大规模集群部署与升级体系(Ansible / SaltStack / 自研 Operator)
●主导过 AIOps / 智能运维体系(智能告警、根因分析、容量预测)的建设
●主导过 AI × 数据平台融合的实际案例(智能调优 / AI Agent 运维 / 对话式管控)
●Apache DolphinScheduler / Ambari / Kyuubi / Airflow Contributor 优先
●对开源生态高度熟悉,能快速判断"该自研、该用开源、该改开源"的边界
●具备从 0 到 1 设计大型分布式系统的能力,能独立 owner 某个技术方向
●良好的工程品味:代码质量、测试覆盖、可观测性、稳定性
●熟练使用 AI 编程工具完成日常开发,对 LLM 能力边界有清晰认知
●良好的中英文技术阅读和书面表达能力(社区 issue / PR / 设计文档)
投递简历
部门介绍
我们是bilibili基础架构部-大数据架构组，负责支撑全公司离线/实时数据基础设施的建设与演进。技术栈覆盖 Hadoop / Spark / Flink / Iceberg / ClickHouse / Kafka / ES / HDFS / Trino等主流开源生态，承担 EB级数据规模下的存储、计算、查询、治理全链路，峰值处理数据量级达到亿级别每秒。我们既是开源生态的深度使用者，也是社区贡献者——团队鼓励参与上游、推动改进合入主线。随着 AI 工具链的成熟，我们正在系统性地把 AI 能力融入大数据基础设施的开发、发布、运维、答疑全流程。这个岗位的一个核心使命，就是让大数据基础设施团队成为"AI-native"的工程团队。
职位描述
工作职责:
一、平台工程方向(集群管理 / 组件发布 / 运维诊断 / 资源治理)
1、主导大数据集群管理平台建设,支撑全公司万级节点、十数套核心组件的生命周期管理,包括但不限于:
（1）集群部署 / 扩缩容 / 滚动升级
（2）多集群、多机房统一管控
（3）配置中心、灰度发布、版本管理
2、主导大数据组件的发布与持续交付体系,包括但不限于:
（1）大数据组件(Hadoop / Spark / Flink / Kafka / ClickHouse 等)的 CI/CD 流水线建设
（2）自动化测试、变更影响分析、灰度策略、自动回滚
（3）内部分支管理与社区版本同步策略
3、主导大数据运维诊断体系建设,包括但不限于:
（1）全栈可观测性(Metrics / Logs / Tracing / Profiling)
（2）智能告警、根因分析、故障自愈
（3）慢任务 / 慢查询诊断、性能 profiling 自动化
4、主导大数据集群资源治理体系建设,包括但不限于:
（1）多租户隔离、配额管理、弹性资源池
（2）资源利用率分析、成本核算、容量规划
（3）K8s / YARN 混部、潮汐调度、超卖与回收
5、推动 AI × 平台融合:智能资源调优、AI Agent 运维助手、对话式集群管理
二、AI 赋能基础设施研发
1、熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具
2、主导 AI 流程自动化建设，为团队赋能：
（1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化
（2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策
（3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈
（4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成
3、沉淀 AI 工具链实践
工作要求:
【硬性条件】
●985 / 211 及以上院校全日制本科及以上学历，计算机相关专业
●5 年以上大数据相关工作经验
●至少深度参与过 1 个大型大数据基础设施项目（EB 级存储 / PB 级日处理 / 千节点以上集群 任一）
●Java / Scala / Go / Rust / C++ 中至少两门掌握扎实
●深度参与过大型数据平台 / 集群管理 / 运维体系(任一)的研发,服务过 >= 千节点 / >= 万级任务量
●熟练掌握 K8s(部署、Operator、调度、网络、存储)和 CI/CD(GitLab CI / Jenkins / Argo CD 等)
【能力素质(满足一项或多项)】
●对分布式系统、配置管理、可观测性有体系化认知
●主导过大数据组件在 K8s 上的容器化改造与落地(Spark on K8s / Flink K8s Operator 等)
●主导过大规模集群部署与升级体系(Ansible / SaltStack / 自研 Operator)
●主导过 AIOps / 智能运维体系(智能告警、根因分析、容量预测)的建设
●主导过 AI × 数据平台融合的实际案例(智能调优 / AI Agent 运维 / 对话式管控)
●Apache DolphinScheduler / Ambari / Kyuubi / Airflow Contributor 优先
●对开源生态高度熟悉,能快速判断"该自研、该用开源、该改开源"的边界
●具备从 0 到 1 设计大型分布式系统的能力,能独立 owner 某个技术方向
●良好的工程品味:代码质量、测试覆盖、可观测性、稳定性
●熟练使用 AI 编程工具完成日常开发,对 LLM 能力边界有清晰认知
●良好的中英文技术阅读和书面表达能力(社区 issue / PR / 设计文档)
投递简历
免责声明：
此信息由b站官网 (查看来源)审核并发布，我们转载该信息，仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“b站官网”负责。我们作为信息转载平台，不构成求职建议，不涉及任何职业中介服务，不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎，自行判断并承担相应风险，求职请认准企业官方渠道！
