腾讯(tencent)招聘微信搜索-数据收录工程师-系统架构方向

岗位职责：
1.负责设计与实现大规模分布式高并发数据系统，支持每日数十亿级数据的高效采集与处理；
2.构建与优化站点抓取压力控制，提升抓取的稳定性与可控性，保障系统对外服务的可持续性；
3.探索并实现页面渲染抓取能力，解决JS动态渲染场景下的数据采集问题；
4.优化数据链路与存储结构，保障数据质量、时效性与可扩展性；
5.对抓取任务全链路进行监控与异常诊断，提升系统健壮性与可观测性。
岗位要求：
1.计算机相关专业，本科及以上学历，具备扎实的数据结构与算法基础；
2.熟悉Python/Go/C++中至少一种语言，掌握异步编程模型与高并发处理机制；
3.有分布式爬虫框架/系统设计经验，熟悉任务调度、URL 管理、去重策略、增量抓取等核心技术；
4.熟悉Linux操作系统、网络协议（TCP/IP、HTTP/HTTPS）及常见Web架构；
5.对死链检测、站点可用性评估有实践经验，能够从数据与架构层面提升检测的准确率与效率；
6.了解浏览器内核或渲染引擎（如 Chromium、pyppeteer、Playwright 等），具备动态页面抓取的能力；
7.熟悉分布式存储（Redis、Kafka、ES、HBase 等），能够支撑海量数据的实时与离线处理；
8.具备良好的问题分析与解决能力，能够独立推动复杂问题的定位与优化。
加分项：
1.熟悉容器化技术（Docker, Kubernetes），有在云平台上部署和运维爬虫系统的经验；
2.有大规模集群环境下的性能调优、容错与可用性设计经验者优先。