数据闭环软件开发工程师

岗位职责：1. 数据闭环平台设计与开发：设计、开发和部署用于自动驾驶数据收集、处理、标注、存储、分析和可视化的软件工具和平台。构建和优化数据管道，确保数据从车辆到云端再到算法开发环境的顺畅流动。开发自动化工作流，支持模型训练、评估、验证和部署的整个生命周期。2. 数据驱动的算法迭代支持：与感知、规划、控制等算法团队合作，理解其数据需求，并提供有效的数据解决方案。开发工具以支持从海量数据中高效挖掘有价值的场景（corner cases）、评估算法性能瓶颈。实现数据驱动的指标体系，用于持续监控和改进自动驾驶系统的性能。3. 仿真与模型验证集成：将真实世界数据与仿真环境相结合，支持基于真实场景的算法测试和验证。开发工具，将从路测数据中提取的关键场景自动导入仿真平台。4. 大规模数据管理与处理：处理和管理 PB 级别的自动驾驶传感器数据（如摄像头、激光雷达、毫米波雷达、IMU、GPS 等）。应用大数据技术（如 Spark, Hadoop, Kafka, Flink 等）优化数据处理效率和存储成本。5. MLOps 与工具链建设：参与构建和维护机器学习运维（MLOps）平台，实现模型版本管理、自动化训练、部署监控等功能。开发和集成数据标注、数据质量检查、模型评估等工具。6. 技术创新与持续改进：跟踪自动驾驶数据闭环、MLOps 及相关领域的最新技术进展，并将其应用于实际工作中。持续优化现有系统架构和流程，提升开发效率和数据利用率。任职要求：1. 教育背景： 计算机科学、软件工程、电子工程、自动化或相关专业的本科及以上学历。2. 编程能力：精通至少一种主流编程语言，如 Python、GO，并有良好的代码风格和工程实践。3. 熟悉 Linux/Unix 开发环境和 Shell 脚本。4. 数据处理经验：熟悉大规模数据处理框架（如 Spark, Hadoop, Flink 等）和消息队列（如 Kafka）。熟悉常用数据库（如 SQL, NoSQL）的设计和使用。5. 云平台与容器化：熟悉至少一种主流云平台（AWS, Azure, GCP）及其相关服务（存储、计算、数据库、AI/ML服务等）。熟悉 Docker, Kubernetes 等容器化和编排技术。6. 软件工程实践：熟悉版本控制工具（如 Git）和 CI/CD 流程。7. 具备良好的软件设计、模块化和测试意识。8. 加分项（Preferred Qualifications）：○ 有自动驾驶行业数据处理、数据平台或 MLOps 相关经验者优先。○ 熟悉至少一种深度学习框架（如 TensorFlow, PyTorch）。○ 了解自动驾驶系统架构、传感器数据格式和常见的算法模块。○ 有大规模分布式系统设计和开发经验。○ 有数据可视化工具开发经验（如 Web 前端、Superset 等）。○ 对数据安全和隐私保护有一定了解。