超算集群研发工程师
high-flyer · 拱墅区, 浙江, 中国; 海淀区, 北京市, 中国
About The Role
【团队使命】 在 AI 时代,超算集群就是把电力转换为智能的引擎。它是通向 AGI 的坚实底座。 从万卡集群去往数十万卡的路上,丛生着系统复杂度的荆棘。我们的目标,是跑满所有计算资源,榨干每一份算力。这牵涉着异构算力的调度权衡、全系统栈的性能调优、超大规模网络的互联承载,以此探索下一代集群的更优架构。 每一层设计都需要我们从第一性原理出发,重新审视,重新思考。让每一瓦电力都尽可能多地转换为有效算力,让每一次模型训练和推理都扎根于极致高效的算力底座之上。 【岗位类别】:实习/全职 【工作职责】 你将根据团队目标和个人专长,参与以下关键领域中的一个或多个方向的架构设计与工程实现: 集群调度方向 1.负责异构集群的训推一体平台开发,解决 CPU/GPU/NPU 等资源的抽象、池化与拓扑感知,提高易用性。 2.持续优化调度算法,在任务优先级、系统吞吐、排队延迟与资源利用率之间取得均衡。 集群训练基建方向 1.打造稳定、高效、可演进的 AI 训练基础设施,持续优化环境与镜像体系。 2.建设完善的训练监控与可观测平台,为大模型研发提供坚实底座。 高性能网络方向 1.负责 AI 超算集群网络的拓扑设计、路由策略、多路径负载均衡和拥塞控制,深入研究 RDMA(RoCEv2 / InfiniBand)协议栈,与通信算子、存储团队配合,提供来自高性能网络的最优底层支撑。 2.排查各种基础组件在大规模训练和推理任务的故障,进行问题定位和调优。 3.从集群视角(CPU/GPU/网网络/操作系统),分析大规模并行系统中的性能抖动、长尾延迟以及快慢节点等系统性问题,支撑集群高效使用。 4.构建大规模训练任务的自动容灾机制。 集群和模型协同设计方向 1.从模型架构与训推需求出发,深入分析计算、通信与存储特征,规划与之适配的集群架构与网络拓扑,持续跟踪评估 AI 加速器、智能网卡及新兴硬件,保持技术前沿。 2.将前瞻研究转化为具体的落地实施方案,细化集群与网络设计,协同数据中心团队完成建设,实现硬件、网络与模型的高效适配。 【岗位要求】 1.扎实的计算机体系结构基础:深刻理解计算机组成、操作系统、计算机网络等核心原理。你需要从硬件微架构、访存子系统到片上和网络互联架构,从数理逻辑到进程指令再到操作系统执行,能够系统性地思考和定位计算规模大幅提升后带来的性能优化与复杂性问题。 2.熟悉 C / C++ / Rust / Python 之一,具备优秀的设计能力、极强的动手和工程能力以及代码质量意识。 3.对 分布式系统 有深刻理解与实践经验,如熟悉分布式任务调度与资源编排,或能设计高性能、高可用的系统架构。 4.对性能优化有较高热情,发自内心地想要跑满所有计算资源,榨干每一份算力。 5.良好的中文沟通能力和团队协作能力。 【加分项】 以下为加分项,不强制要求,我们非常欢迎有扎实系统基础和强烈学习意愿的同学加入: 1.熟悉容器运行时(cgroup、namespace 等)与容器编排系统(Kubernetes 等)的底层实现原理,理解资源隔离、调度(sched_ext)与 QoS 等机制。 2.精通 RDMA 编程及 RoCEv2 / InfiniBand 网络架构,深入理解拥塞控制、多路径、自适应路由等机制,具备大规模 RDMA 网络排障与调优经验。 3.有HPC和超算全机规模应用经验,熟悉并行编程范式,或有超大规模集群组网设计、部署建设、调优经验。 4.有智能网卡 DPU、可编程交换机 P4 开发经验,或熟悉 GPU、国产 AI 加速器或国产 CPU 的体系结构和性能特性。 5.在大型开源软件中有深度贡献,或有优秀个人开源项目,或有HomeLab经历。 6.在 HPC 赛事(SC / ASC / ISC / PAC)、数学或算法竞赛(CMO / NOI / IOI / ICPC)中取得优异成绩。 【视野与思辨】 我们对世界充满好奇心,这种好奇心会自然延伸到对复杂系统底层运作机制的持续探索。我们不满足于被动执行,对 AGI 的技术路径有着独立的思考与执着的好奇心。我们相信,广泛的兴趣——无论是音乐、体育、美术还是其他领域——都将为你带来独特的视角与创新灵感。 【你会得到】 1.直接参与定义并建设下一代超算基础设施,挑战更大规模数十万卡集群的极限性能。 2.与顶尖算子、框架研发和算法研究员协作,从硬件到软件、从平台到应用全栈贯通。 3.深入多种硬件体系结构,系统性地积累跨架构实践经验。 4.你的工作直接影响大模型训练与推理的效率、成本和稳定性。
This is an external listing. JobSpring does not represent or verify the employer. Report this listing
JobSpring