大模型训练框架工程师

岗位职责: 1. 基于自研GPU适配、维护主流大模型训练和微调框架，如Megatron-LM、DeepSpeed； 2. 结合自研硬件特性进行深入优化或二次开发，提升大模型训练吞吐和资源利用率； 3. 面向超节点或大集群建设训练系统稳定性能力，包括故障感知、故障定位、自动重试与断点续训等； 4. 设计实现高可靠Checkpoint机制，提升保存与恢复效率，缩短故障后恢复时间； 5. 分析、定位、解决大模型训练过程中涉及的功能、性能、稳定性问题； 6. 和相关团队协作致力于提升自研GPU在大模型训练场景的可用性、易用性和竞争力。 任职要求： 1. 计算机、软件工程等相关专业，熟悉AI领域背景知识； 2. 熟练使用Python/C++编程，熟悉CUDA/triton/tilelang编程； 3. 熟悉主流大模型结构，熟悉NLP常用算法原理； 4. 熟悉DP、TP、PP、EP、CP等并行策略，熟悉通信模式； 5. 深入理解Megatron-LM、DeepSpeed等主流大模型训练框架，具备开发实践经验； 6. 有超节点或大规模集群训练、微调经验者优先； 7. 有训练稳定性、故障容错等相关工程实践者优先。