Skip to content
← Back to job listings

大模型训练引擎优化工程师

step · 徐汇区, 上海市, 中国

External listingfull-timeabout 1 month ago

About The Role

负责大模型后训练阶段训练引擎相关系统建设与性能优化,重点面向 SFT、RL 等训练场景,提升训练效率、资源利用率、稳定性与训推一致性。 岗位职责 负责后训练阶段 SFT、RL 等训练引擎建设与分布式训练性能优化,支撑不同后训练任务的高效接入、稳定运行与规模化迭代。 负责低精度训练能力建设,提升低精度训练场景下的效率、精度与稳定性。 负责长上下文训练能力建设,支撑长序列后训练任务的高效训练。 负责后训练中的训推协同优化,提升 RL 等场景下训练与推理链路的整体效率。 负责训练稳定性与可观测性建设,提升大规模训练过程中的问题发现、定位与恢复效率。 任职要求 熟悉 PyTorch、Megatron、FSDP 等大模型训练框架,理解分布式训练基本原理。 具备大模型训练性能优化经验,熟悉通信优化、显存优化、重计算、算子融合、通信计算重叠等优化方法。 熟悉低精度训练、量化训练、长上下文训练、Sparse Attention、投机采样等方向者优先。 熟悉 SFT、PPO、GRPO、DPO 等后训练算法原理,理解后训练算法对训练系统的需求。 熟悉 Nsight、PyTorch Profiler 等性能分析工具,具备独立定位训练性能、精度和稳定性问题的能力。

This is an external listing. JobSpring does not represent or verify the employer. Report this listing