小红书招聘数据采集&解析工程师
招聘职位:
数据采集&解析工程师 搜索同类职位
岗位职责:
【数据采集工程师】
工作职责
1、负责分布式爬虫系统的设计与优化
2、负责大规模广域爬虫引擎的部署、开发、维护
3、负责大规模网页数据采集系统开发,互联网资源清洗和结构化,网页转码,网页聚合,信息抽取,网页分类
【数据解析工程师】
工作职责:
1、负责百亿级搜索内容解析系统建设,持续提升解析效果和性能
2、应用大模型技术,提升数据解析质量和成功率
3、负责互联网海量数据(网页、文档、富媒体等)的去重、清洗、结构化导入、分类、信息抽取与价值评估
任职要求:
【数据采集工程师】
任职资格
1、3年以上爬虫 或 数据解析开发经验,熟练掌握 python、java、go 之一的语言
2、熟悉分布式爬虫架构,熟悉常见的风控策略、JS混淆、浏览器引擎
3、熟悉chromium内核/js/dom/html/css 等网页相关语言,能够完成数据解析工作,有大模型解析经验者优先
4、熟悉Linux常用命令,独立完成日常部署更新等,熟悉SSH、redis、mongodb等工具的使用
【数据解析工程师】
能力要求
1、计算机相关专业,熟练掌握 Python/Go/Java 至少一种编程语言
2、深入理解网站架构和内容组织方式,具备网页结构分析能力
2、有全网万亿级优质内容采集和挖掘经验优先
3、有头部搜索引擎公司 或 大模型公司 数据解析工作经验优先
【数据采集工程师】
工作职责
1、负责分布式爬虫系统的设计与优化
2、负责大规模广域爬虫引擎的部署、开发、维护
3、负责大规模网页数据采集系统开发,互联网资源清洗和结构化,网页转码,网页聚合,信息抽取,网页分类
【数据解析工程师】
工作职责:
1、负责百亿级搜索内容解析系统建设,持续提升解析效果和性能
2、应用大模型技术,提升数据解析质量和成功率
3、负责互联网海量数据(网页、文档、富媒体等)的去重、清洗、结构化导入、分类、信息抽取与价值评估
任职要求:
【数据采集工程师】
任职资格
1、3年以上爬虫 或 数据解析开发经验,熟练掌握 python、java、go 之一的语言
2、熟悉分布式爬虫架构,熟悉常见的风控策略、JS混淆、浏览器引擎
3、熟悉chromium内核/js/dom/html/css 等网页相关语言,能够完成数据解析工作,有大模型解析经验者优先
4、熟悉Linux常用命令,独立完成日常部署更新等,熟悉SSH、redis、mongodb等工具的使用
【数据解析工程师】
能力要求
1、计算机相关专业,熟练掌握 Python/Go/Java 至少一种编程语言
2、深入理解网站架构和内容组织方式,具备网页结构分析能力
2、有全网万亿级优质内容采集和挖掘经验优先
3、有头部搜索引擎公司 或 大模型公司 数据解析工作经验优先
免责声明:
此信息由小红书官网 (查看来源)审核并发布,我们转载该信息,仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“小红书官网”负责。我们作为信息转载平台,不构成求职建议,不涉及任何职业中介服务,不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎,自行判断并承担相应风险,求职请认准企业官方渠道!