Skip to content
← Back to job listings

大语言模型训练性能优化工程师

iluvatar · 建邺区, 江苏, 中国; 闵行区, 上海市, 中国

External listingfull-time14 days ago

About The Role

岗位职责 大语言模型训练 、微调、强化学习的 性能优化,包括但不限于Megatron-LM,verl,DeepSpeed等框架、网络通信、算子等优化方向; 具体模型优化加速,包括但不限于部署模型训练环境、profiling定位模型训练性能瓶颈、分析优化方向、并行策略/算子优化等; 大语言模型前沿发展的调研,跟踪与适配,包括但不限于前沿模型发展、框架、实现技术等; 任职要求(必须) 本科以上学历,计算机相关专业,熟悉AI领域基本知识; 熟练使用Python编程,熟悉C++/CUDA编程; 熟悉PyTorch、Megatron-LM等主流框架; 熟悉verl、ROLL、slime等主流强化学习训练框架之一; 熟悉DP、TP、PP、EP、CP等大模型并行策略; 熟悉主流Transformer类大语言模型结构; 对大语言模型技术方向有热情; 任职要求(加分项) 有大语言模型预训练、微调、强化学习优化经验者优先; 熟练掌握主流强化学习算法者优先; 有GPU/CUDA/Triton/TileLang性能优化经验者优先; 有框架/GPU性能分析工具使用经验者优先。

This is an external listing. JobSpring does not represent or verify the employer. Report this listing