大数据架构师

一、岗位职责 1、架构规划与设计： 负责公司级大数据平台的整体架构设计、技术选型和演进规划，涵盖数据采集、存储、计算、治理与服务化全链路。 制定大数据技术规范和标准，保证系统架构的合理性、先进性、可扩展性和高可用性。 评估和引入新技术、新工具，持续优化平台性能与成本。 2、平台建设与演进： 主导核心数据平台组件（如数据仓库、数据湖、实时计算平台、数据服务中间件）的架构设计与搭建。 设计和实现多租户、资源隔离、数据安全与权限管控的平台级解决方案。 规划和推动数据平台从传统架构向云原生、流批一体等现代化架构演进。 3、技术领导与协作： 为数据开发、数据分析师和业务团队提供技术指导和架构评审，解决核心技术难题。 与运维团队协作，设计并实现平台的监控、告警和自动化运维体系。 与数据治理团队合作，在平台层面落地数据质量管理、元数据管理和数据血缘追踪。 4、性能与成本优化： 深入理解数据任务和业务需求，对平台进行深度性能调优，解决数据倾斜等疑难杂症。 建立并优化平台资源管理与成本核算体系，平衡性能、效率与成本 二、岗位要求 1、学历与经验： 计算机科学、软件工程或相关专业本科及以上学历，拥有5年以上大数据领域工作经验，其中至少3年作为架构师或技术负责人主导过大中型数据平台的建设。 2、技术广度与深度： 精通大数据生态： 对 Hadoop, Spark, Flink, Hive, Kafka, Doris/StarRock\数据湖(Paimon)等核心组件有深入的原理级理解和实战经验。 数据仓库架构： 深刻理解数据建模理论，并有构建数仓（Kimball/Dimensional Modeling）或数据湖仓（Data Lakehouse）的实战经验。 流式计算： 拥有基于 Kafka + Flink/Spark Streaming 的实时数据管道设计和开发经验。 编程语言： 精通 Java/Scala/Python 中的至少一门。 SQL 与优化： 具备高超的 SQL 编写和优化能力。 架构能力： 具备优秀的分布式系统理论功底，能设计高并发、高可用的系统架构。 熟悉微服务、容器化（Docker/K8s）和云原生技术体系。 有能力撰写清晰、严谨的技术架构文档。 3、软技能： 出色的技术领导力、沟通能力和跨团队协作能力。 具备战略性思维，能平衡长期技术规划与短期业务需求。 强烈的责任心、自驱力和解决复杂技术问题的热情。 4、优先考虑条件： 拥有公有云（AWS, Azure, GCP, 阿里云）大数据平台（如 EMR, Databricks, MaxCompute）的实战经验及相关认证。 有从零到一搭建或主导过大规模（PB级别）数据平台重构的经验。 熟悉数据治理体系和相关工具（如 Atlas, DataHub）。 对机器学习平台或AI基础设施有深入了解和实践。 有优秀的技术博客、开源项目贡献或技术大会演讲经历。