数据开发工程师

职位描述： 负责构建和维护基于湖仓一体架构的实时数据仓库，推动数据平台从传统 Kappa 架构向现代化流批一体架构演进，确保数据的时效性与准确性，支持业务数据的实时处理与分析。 提示：技术面会有数据结构和算法题的考察，请匹配投递，感谢！ 工作职责： 1. 负责数据仓库的设计、搭建与优化，构建实时数据管道，保障数据的高效计算与低延迟处理。 2. 基于 FlinkCDC + Flink SQL 构建实时数据集成与计算链路，实现全增量一体化同步、Schema Evolution 自动感知、整库同步等能力。 3. 参与实时存储层建设（Fluss/Paimon），实现流批一体的数据存储与查询，优化端到端数据时效性。 4. 负责 OLAP 分析层（Doris）的建设与优化，包括物化视图设计、查询性能调优、数据建模。 5. 负责数据质量监控和数据治理体系建设，推动数据血缘追踪与质量校验的落地。 6. 深入理解业务逻辑，按业务域进行维度建模，支撑报表分析与数据服务需求。 7. 与产品、后端、BI 团队紧密合作，提供高质量的数据分析与提取能力。 任职要求： 1. 本科及以上学历，计算机相关专业，3 年以上大数据开发相关经验，具有扎实的计算机专业知识。 2. 精通数据仓库架构理论（Kappa/Lambda/湖仓一体），对数据分层建设、维度建模、指标体系建设有深刻理解。 3. 精通 Apache Flink，熟练使用 Flink SQL 进行流批一体开发；有 FlinkCDC 使用经验者优先。 4. 熟悉至少一种 OLAP 引擎（Doris/ClickHouse/StarRocks），了解其查询优化和数据建模方法。 5. 熟练掌握 Java 编程语言，具备良好的编码习惯和工程化思维；掌握 SQL、Shell、Python。 6. 了解实时存储技术（Fluss/Paimon/Iceberg/Hudi）或流式数据湖相关概念者优先。 7. 了解 AI 相关知识，有 AI 开发经验或基于 AI Coding 经验者优先。 加分项： - 有从传统实时架构向湖仓一体架构迁移的实战经验 - 有从事实时平台开发以及架构设计优先