哔哩哔哩(bilibili|b站)招聘资深爬虫工程师（国内外数据方向）
招聘职位：
资深爬虫工程师（国内外数据方向） 搜索同类职位
岗位介绍：
职位描述
工作职责:
一、岗位亮点
负责日本、欧美主流站点海量数据采集，聚焦多媒体（图片 / 视频 / 音频）与多模态数据爬取；深度对抗国内外顶级风控体系，主导分布式高可用爬虫系统设计与技术攻坚，为基座模型训练、业务分析提供高质量国内外数据源，技术挑战与成长空间充足。
二、岗位职责
1.分布式爬虫系统研发设计、开发与维护高可用、高并发分布式爬虫系统，支撑国内外海量多媒体数据的稳定采集、解析与存储。
2.国内外风控对抗攻坚研究并突破 YouTube、Instagram、TikTok、Reddit、Bangumi 等国内外主流站点的反爬机制，解决 IP 封禁、账号限制、行为风控、地域限制等问题。
3.多媒体数据处理完成视频、音频、图片等非结构化数据的抓取、元数据提取、去重与质量校验，保障数据完整性与可用性。
4.全端逆向工程负责 Web 端 JS 逆向、安卓 /iOS 端 APP 逆向，破解加密算法、签名机制与接口校验逻辑，保障数据稳定获取。
5.复杂防护绕过攻克高难度验证码、Cloudflare/Akamai/Shape Security 等国内外主流防护体系，保障爬取链路稳定。
6.跨团队协同与数据清洗、算法团队配合，输出标准化数据源，优化采集流程与数据质量。
工作要求:
1. 硬性基础要求
●5 年及以上爬虫开发实战经验，有大规模国内外数据采集项目经验；
●精通 Python 开发，熟悉异步、并发编程，了解 Go/Java/Rust 优先。
2. 核心技术能力
●熟练使用 Scrapy、Playwright、Selenium 等主流爬虫框架，有分布式爬虫 / 调度系统开发经验优先；
●精通 Web 端 JS 逆向（AST、混淆还原、加密参数破解），掌握 Frida、Xposed、IDA Pro 等 APP 逆向工具；
●深入理解 HTTP/HTTPS/TCP 协议，熟悉 WebSocket、QUIC、HLS/DASH 等网络与流媒体协议；
●熟练使用 FFmpeg、OpenCV 完成音视频处理与大文件下载。
3. 国内外专项能力
●精通国内外代理池（住宅 IP / 数据中心 IP）的搭建、管理与优化；
●具备对抗 Cloudflare、Akamai、Shape Security 等国内外顶级风控系统的实战经验；
●熟悉欧美、日本主流平台的数据规则与业务逻辑，能快速适配多地域、多语言站点。
4. 软技能要求
●自驱力强，擅长技术攻坚，能独立解决复杂技术难题；
●英语 CET-6 及以上，可无障碍阅读英文技术文档、排查国内外技术问题；
●良好的团队协作与沟通能力，能输出清晰的技术方案。
●熟练使用AI agent能力者优先
投递简历
职位描述
工作职责:
一、岗位亮点
负责日本、欧美主流站点海量数据采集，聚焦多媒体（图片 / 视频 / 音频）与多模态数据爬取；深度对抗国内外顶级风控体系，主导分布式高可用爬虫系统设计与技术攻坚，为基座模型训练、业务分析提供高质量国内外数据源，技术挑战与成长空间充足。
二、岗位职责
1.分布式爬虫系统研发设计、开发与维护高可用、高并发分布式爬虫系统，支撑国内外海量多媒体数据的稳定采集、解析与存储。
2.国内外风控对抗攻坚研究并突破 YouTube、Instagram、TikTok、Reddit、Bangumi 等国内外主流站点的反爬机制，解决 IP 封禁、账号限制、行为风控、地域限制等问题。
3.多媒体数据处理完成视频、音频、图片等非结构化数据的抓取、元数据提取、去重与质量校验，保障数据完整性与可用性。
4.全端逆向工程负责 Web 端 JS 逆向、安卓 /iOS 端 APP 逆向，破解加密算法、签名机制与接口校验逻辑，保障数据稳定获取。
5.复杂防护绕过攻克高难度验证码、Cloudflare/Akamai/Shape Security 等国内外主流防护体系，保障爬取链路稳定。
6.跨团队协同与数据清洗、算法团队配合，输出标准化数据源，优化采集流程与数据质量。
工作要求:
1. 硬性基础要求
●5 年及以上爬虫开发实战经验，有大规模国内外数据采集项目经验；
●精通 Python 开发，熟悉异步、并发编程，了解 Go/Java/Rust 优先。
2. 核心技术能力
●熟练使用 Scrapy、Playwright、Selenium 等主流爬虫框架，有分布式爬虫 / 调度系统开发经验优先；
●精通 Web 端 JS 逆向（AST、混淆还原、加密参数破解），掌握 Frida、Xposed、IDA Pro 等 APP 逆向工具；
●深入理解 HTTP/HTTPS/TCP 协议，熟悉 WebSocket、QUIC、HLS/DASH 等网络与流媒体协议；
●熟练使用 FFmpeg、OpenCV 完成音视频处理与大文件下载。
3. 国内外专项能力
●精通国内外代理池（住宅 IP / 数据中心 IP）的搭建、管理与优化；
●具备对抗 Cloudflare、Akamai、Shape Security 等国内外顶级风控系统的实战经验；
●熟悉欧美、日本主流平台的数据规则与业务逻辑，能快速适配多地域、多语言站点。
4. 软技能要求
●自驱力强，擅长技术攻坚，能独立解决复杂技术难题；
●英语 CET-6 及以上，可无障碍阅读英文技术文档、排查国内外技术问题；
●良好的团队协作与沟通能力，能输出清晰的技术方案。
●熟练使用AI agent能力者优先
投递简历
免责声明：
此信息由b站官网 (查看来源)审核并发布，我们转载该信息，仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“b站官网”负责。我们作为信息转载平台，不构成求职建议，不涉及任何职业中介服务，不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎，自行判断并承担相应风险，求职请认准企业官方渠道！
