Sign In
Skip to content
← Back to job listings

大数据开发工程师(J14247)

YMTC (Yangtze Memory) · 湖北省·武汉市

External listingFull-time6 months ago

About The Role

  1. 主导半导体行业数据底座建设，搭建数据采集、存储、治理及服务体系，支撑业务数据全生命周期管理；
  2. 负责非结构化大文件的解析、清洗、结构化转化与入库，保障数据质量与解析效率；
  3. 基于Python进行大数据相关开发，包括数据处理脚本、解析工具、ETL任务开发，适配半导体业务场景的数据需求；
  4. 参与数据规范制定，沉淀非结构化数据解析、数据底座运维的技术方案与最佳实践。
  5. 本科及以上学历，计算机相关专业，5年以上大数据开发相关经验，有半导体制造行业经验优先；
  6. 精通Python编程语言，熟练使用Pandas、NumPy、PySpark等数据处理库，能独立完成复杂数据解析与处理脚本开发；
  7. 熟悉大数据技术栈，掌握Hadoop、HDFS、Hive、Spark、Flink、消息队列等核心组件的使用，适配大文件存储与分布式处理场景；
  8. 掌握非结构化数据解析方法，有大文件分片处理、高效解析、分布式落地经验。
  9. 具备问题排查与性能优化能力，能解决大数据处理中的卡顿、解析失败、数据不一致等问题，保障链路稳定性；
  10. 具备良好的代码规范与文档编写能力，能沉淀技术方案、开发文档，支持团队协作与知识传承。
  11. 有半导体行业数据中台落地经验；

This is an external listing. JobSpring does not represent or verify the employer. Report this listing