美团(meituan)招聘LongCat - 多模态算法研究员
招聘职位:
LongCat - 多模态算法研究员 搜索同类职位
部门介绍:
基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。
在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。
在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。
真诚地邀请你,和我们一起驱动技术发展,创造行业价值。
岗位职责:
探索下一代原生多模态基础模型:让模型不止于接入视觉能力,而是能够统一建模文本、图像、视频与交互过程,像理解文字一样理解视觉世界,并在真实物理场景中进行推理、生成和行动。我们将重点探索统一的多模态表征体系,包括离散视觉 token、连续视觉表征及其混合形式,使图像与视频能够被基础模型高效学习、组合和生成。
你将参与以下方向中的一个或多个:
1、研究多模态与文本模态的深度融合策略,包括 early fusion 架构设计、多模态 / 文本数据配比优化、多模态上下文建模等,实现视觉能力与语言能力的协同提升。
2、从互联网及业务场景中大规模挖掘、清洗和构建高质量多模态训练数据,覆盖图文交错、视频、网页、文档、GUI、代码和交互轨迹等数据形态,支撑模型在 browser use、复杂文档理解、vision-to-code 等生产力场景的能力突破。
3、设计兼顾理解、重建与生成的视觉表征体系,包括离散视觉 tokenizer、多尺度视觉 token、视频 tokenization 以及连续 / 离散混合表征;基于理解与生成统一的表征,规模化构建图文交错、视频序列等多模态自监督预训练数据,解锁新的多模态智能维度。
4、基于理解与生成统一的模型能力,探索长程、多轮的多模态生成与交互任务,通过端到端强化学习激发模型的自我评估和迭代修正能力;进一步探索未来帧预测、状态建模和交互轨迹学习在物理视觉世界中的推理、规划与行动能力。
任职要求:
1、熟悉 Python,熟练使用 PyTorch/Megatron/DeepSpeed 等训练框架,有大规模预训练或数据 pipeline 开发经验;
2、满足以下至少一项:
· 有大规模多模态数据挖掘/清洗/质量控制的工程经验;
· 对视觉表征设计、多模融合策略、生成范式等有深入理解,有从0到1探索新方向的经验。
岗位亮点:
1、团队在原生多模态方向有明确的非共识技术判断和持续投入,不是跟随式的能力补齐。
2、覆盖"数据→tokenizer→预训练→后训练"全链路,参与端到端的系统设计。
3、资源充沛,有大规模 GPU 集群支撑实验。
基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。
在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。
在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。
真诚地邀请你,和我们一起驱动技术发展,创造行业价值。
岗位职责:
探索下一代原生多模态基础模型:让模型不止于接入视觉能力,而是能够统一建模文本、图像、视频与交互过程,像理解文字一样理解视觉世界,并在真实物理场景中进行推理、生成和行动。我们将重点探索统一的多模态表征体系,包括离散视觉 token、连续视觉表征及其混合形式,使图像与视频能够被基础模型高效学习、组合和生成。
你将参与以下方向中的一个或多个:
1、研究多模态与文本模态的深度融合策略,包括 early fusion 架构设计、多模态 / 文本数据配比优化、多模态上下文建模等,实现视觉能力与语言能力的协同提升。
2、从互联网及业务场景中大规模挖掘、清洗和构建高质量多模态训练数据,覆盖图文交错、视频、网页、文档、GUI、代码和交互轨迹等数据形态,支撑模型在 browser use、复杂文档理解、vision-to-code 等生产力场景的能力突破。
3、设计兼顾理解、重建与生成的视觉表征体系,包括离散视觉 tokenizer、多尺度视觉 token、视频 tokenization 以及连续 / 离散混合表征;基于理解与生成统一的表征,规模化构建图文交错、视频序列等多模态自监督预训练数据,解锁新的多模态智能维度。
4、基于理解与生成统一的模型能力,探索长程、多轮的多模态生成与交互任务,通过端到端强化学习激发模型的自我评估和迭代修正能力;进一步探索未来帧预测、状态建模和交互轨迹学习在物理视觉世界中的推理、规划与行动能力。
任职要求:
1、熟悉 Python,熟练使用 PyTorch/Megatron/DeepSpeed 等训练框架,有大规模预训练或数据 pipeline 开发经验;
2、满足以下至少一项:
· 有大规模多模态数据挖掘/清洗/质量控制的工程经验;
· 对视觉表征设计、多模融合策略、生成范式等有深入理解,有从0到1探索新方向的经验。
岗位亮点:
1、团队在原生多模态方向有明确的非共识技术判断和持续投入,不是跟随式的能力补齐。
2、覆盖"数据→tokenizer→预训练→后训练"全链路,参与端到端的系统设计。
3、资源充沛,有大规模 GPU 集群支撑实验。
免责声明:
此信息由美团官网 (查看来源)审核并发布,我们转载该信息,仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“美团官网”负责。我们作为信息转载平台,不构成求职建议,不涉及任何职业中介服务,不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎,自行判断并承担相应风险,求职请认准企业官方渠道!