← Back to job listings
CM
招商金科数据湖运维管理(J29066)
China Merchants Group · 广东省·深圳市
About The Role
- 大数据平台保障:负责Hadoop、Spark、Hive、Flink、ClickHouse、HBase、Kafka等大数据生态组件的集群运维,保障集群高可用性、高可靠性;针对集群性能瓶颈(如资源占用过高、任务延迟、数据倾斜等)进行分析与优化,提升平台处理能力。
- 故障应急与风险管控:建立健全大数据平台监控告警体系(含硬件、软件、网络、数据链路等),快速响应并处理各类运维故障(如集群宕机、任务失败、数据丢失等),降低故障对业务的影响;定期开展风险评估与应急演练,提升团队风险预判与应急处置能力。
- 数据安全与合规保障:负责大数据平台的数据安全与合规管理,落实数据加密、权限管控、日志审计等安全措施;配合内外部合规检查,确保运维工作符合行业规范与公司制度。
- 运维体系搭建与管理:主导大数据运维体系规划、建设与优化,制定标准化运维流程(含集群部署、扩容、备份、监控、故障处理等),输出运维标准规范、应急预案等规范文档,提升运维效率与标准化水平。
- 跨部门协作:对接开发、业务、数据等跨部门团队,理解业务需求与技术痛点,提供运维支撑与解决方案;协同推进大数据平台的迭代升级、新业务上线等相关运维保障工作。
- 学历与专业:本科及以上学历,计算机科学与技术、软件工程、信息安全、网络工程等相关专业;条件优秀者可适当放宽。
- 工作经验:
- 5年以上大数据运维相关工作经验,2年以上团队管理经验,主导过大规模大数据集群(节点数100+)的全生命周期运维工作;
- 有云厂商(华为云、阿里云、AWS等)大数据服务(如MRS、MaxCompute、EMR等)运维经验者优先。
- 专业技能:
- 精通大数据生态组件(Hadoop、Spark、Hive、Flink、ClickHouse、HBase、Kafka等)的原理与运维方法,具备丰富的集群部署、扩容、优化、故障排查经验;
- 熟悉Linux操作系统(CentOS/Redhat/麒麟等)的运维与优化,精通Shell、Python等至少一种脚本语言,具备自动化运维工具开发或使用经验优先;
- 掌握Docker、K8s等容器化与编排技术,有大数据组件容器化部署与运维经验者优先;
- 了解数据安全相关技术(如数据加密、权限管理、漏洞扫描等),有大数据平台安全运维经验者优先;
- 具备较强的问题分析与解决能力,能快速定位并处理复杂的运维故障。
This is an external listing. JobSpring does not represent or verify the employer. Report this listing
JobSpring