大数据开发工程师（离线）

岗位职责： 1、负责离线数据链路全流程开发，完成数据接入、清洗转换、聚合计算、指标加工、数据输出等工作，保障业务数据、用户行为数据、业务报表数据的稳定产出。 ​2、精通SQL开发与深度优化，负责复杂离线SQL脚本、数据计算任务的编写，针对数据倾斜、全表扫描、冗余计算、任务耗时过长等问题进行专项SQL优化、任务调优，提升计算效率、降低资源消耗。 ​3、熟练使用阿里云DataWorks完成数据开发、任务调度、周期任务配置、依赖管理、运维监控、告警处理、数据血缘管理等全流程操作，保障离线任务稳定运行。 ​4、熟练使用MaxCompute、Hive进行海量离线数据存储、计算与查询，掌握底层存储原理、分区设计、分桶优化、压缩策略、参数调优；熟练使用Spark进行分布式数据计算、复杂数据处理与批处理任务开发。 5、精通Python数据开发，使用Python完成数据清洗、脚本调度、数据校验、异常监控、数据接口对接、自动化工具开发、日志分析、数据质量巡检等工作 ​6、负责数据质量管控，搭建数据校验规则、异常数据监控机制，及时排查数据延迟、数据丢失、数据口径不一致、任务失败等问题，保障数据准确性与及时性。 7、 基于QuickBI完成数据可视化报表开发、 dashboard搭建、指标看板配置，支撑业务方自助取数、数据分析与数据展示需求。 8、​参与数据平台治理工作，包括冗余表清理、重复任务合并、存储资源优化、计算成本管控、任务链路梳理、血缘分析等，提升数仓整体资源利用率。 ​9、对接产品、业务，梳理业务指标口径，理解数据需求，输出合理的数据开发方案，快速响应业务数据支撑需求。 任职要求 1. 本科及以上学历，计算机、软件工程、大数据、统计学等相关专业，2年及以上离线数仓专职开发与建设经验，有完整大型离线数仓从0到1搭建经验者优先。​ 2. 精通离线数仓建设方法论，深入理解数仓分层架构、维度建模、总线矩阵、指标体系设计、数据域划分等核心理论，具备规范数仓落地实践经验。​ 3.精通SQL语言，熟练编写复杂多表关联、子查询、窗口函数、聚合计算、存储过程等SQL脚本，具备丰富的SQL优化实战经验，能独立解决数据倾斜、执行效率低、资源占用过高、大表查询慢等核心问题。​ 4.熟练掌握Hive、Spark大数据组件，理解其底层执行原理、执行计划、参数调优、分区分桶设计、数据倾斜优化，具备海量数据离线计算开发经验。​ 5.精通Python开发，熟练使用Python进行数据处理、脚本开发、自动化运维、数据校验，掌握Pandas、Numpy等常用数据处理库。​ 6. 熟练使用阿里云DataWorks、MaxCompute，掌握数据开发、周期调度、任务运维、数据集成、资源配置、告警监控、数据安全等核心功能，有阿里云大数据平台实战经验。​ 7. 熟练使用QuickBI完成数据可视化、报表制作、多维分析、自助取数配置，能快速支撑业务数据可视化需求。​ 8. 具备良好的问题排查能力，能快速定位离线任务失败、数据异常、性能瓶颈、链路阻塞等问题，独立完成故障排查与修复。