大数据开发工程师-实时

岗位职责 1. 负责实时数仓整体建设与分层设计，搭建标准实时数仓架构，规范实时数据域划分、指标体系、建模标准及开发规范，统筹实时数据链路的迭代与优化，保障数仓体系稳定可扩展。 2. 负责Flink实时任务开发，包括实时数据流接入、数据清洗、维度关联、窗口计算、状态计算、双流join、迟到数据处理等核心开发工作，落地各类实时业务指标。 3. 熟练使用Kafka消息队列，负责topic规划、分区策略、消息积压治理、消费策略优化、数据流解耦，保障实时消息链路高吞吐、低延迟、无丢失。 4. 熟练使用Hologres进行实时数仓存储、实时聚合、多维查询、实时服务层建设，负责表结构设计、分区主键优化、索引调优、查询性能优化，支撑高并发实时查询场景。 5. 精通SQL开发及实时SQL优化，针对Flink SQL、Hologres查询存在的延迟过高、资源占用大、数据倾斜、查询慢等问题进行专项调优，解决实时任务积压、数据延迟、数据重复、状态异常等线上问题。 6. 熟练使用阿里云DataWorks、MaxCompute，配合实时场景完成离线兜底数据加工、任务调度、数据同步、数据校验，实现实时+离线数据链路联动，保障数据口径统一、数据结果一致。 7. 精通Python，可独立编写数据校验脚本、自动化巡检工具、数据对账程序、监控告警脚本，提升实时数据质量与运维效率。 8. 负责实时数据质量治理，搭建实时数据监控、异常告警、数据对账、容错重试机制，及时处理数据延迟、数据缺失、口径偏差、任务失败等问题，保障实时数据准确性、时效性、完整性。 9. 基于QuickBI搭建实时数据大屏、实时指标看板、业务分析报表，支撑业务实时监控、运营决策、数据复盘等场景需求。 10. 深入对接业务需求，梳理实时指标口径，沉淀标准化实时指标体系，持续优化实时链路架构，降低计算成本、提升业务响应效率。 任职资格： 1. 本科及以上学历，计算机、大数据、软件工程、统计学等相关专业，3年及以上实时数仓开发与建设经验，具备完整实时数仓从0到1搭建经验者优先。 2. 精通实时数仓建设方法论，熟悉实时数仓分层架构、实时建模、指标体系搭建，了解实时与离线数仓融合建设思路，具备成熟的项目落地经验。 3. 精通SQL，熟练使用Flink SQL、Hologres SQL，擅长复杂实时计算逻辑开发，具备丰富的SQL调优、实时任务性能优化经验，可独立解决数据倾斜、任务反压、消息积压、查询超时等问题。 4. 熟练掌握Flink核心原理，精通窗口机制、状态管理、checkpoint、watermark、迟到数据处理、背压优化、资源调优，具备大规模实时任务开发与运维经验。 5. 熟练使用Kafka，熟悉消息队列存储、分区、副本、消费组机制，具备消息积压排查、吞吐优化、数据流治理实战能力。 6. 熟练掌握Hologres使用与调优，熟悉实时数仓存储设计、索引优化、实时聚合、高并发查询优化，有大规模实时数据服务落地经验。 7. 精通Python，熟练运用Python进行数据处理、自动化运维、数据对账、监控脚本开发，独立完成数据异常校验与问题定位。 8. 熟练使用阿里云DataWorks、MaxCompute平台，掌握数据开发、调度运维、数据集成、任务监控等能力，可完成实时离线联动开发。 9. 熟练使用QuickBI完成实时报表、数据大屏、多维分析图表开发，满足业务可视化需求。 10. 具备良好的问题排查能力、业务理解能力和沟通协作能力，工作严谨负责，能承受互联网数据场景的迭代节奏。