DTNUM 92 - Data engineer d'un projet ministériel sensible H/F (SIC)

Rejoignez un projet ministériel sensible en tant que Data Engineer. Vous serez responsable de la conception, de l'industrialisation et de la maintenance des pipelines de données, garantissant leur disponibilité, leur qualité et leur sécurité. Vous travaillerez avec des outils tels que OTDH, Hadoop, Data Lake, et bien d'autres. Vous devrez également former les équipes aux bonnes pratiques et participer à l'animation des communautés.

• Concevoir, industrialiser et maintenir les pipelines de données pour garantir la disponibilité, la qualité et la sécurité des données.
• Développer des solutions de collecte de données via API, gérer le stockage des données et automatiser les traitements batch ou streaming.
• Surveiller les pipelines, gérer les incidents, planifier la capacité et assurer la continuité de service.

• **Profil recherché**
• Compétences techniques
• Langages et outils : Python, SQL, Scala, JavaScript, Spark, Databricks, Hadoop, Kafka, Flink, ou autre.
• Orchestration et CI/CD : Airflow, Azure Data Factory, Fabric pipelines, GitHub Actions, Azure DevOps, Terraform/Bicep.
• Stockage et modélisation : Delta, Parquet, Lakehouse, Data Warehouse, tests unitaires et d'intégration, data contracts.
• Optimisation et monitoring : Performance, coûts (FinOps), dashboards de suivi, KPIs (latence, taux de succès, MTTR/MTBF), <data-framework.app>.
• Compétences comportementales
• Curiosité et veille technologique pour suivre l'évolution rapide des outils et méthodes
• Capacité à collaborer avec les équipes projet et clients en transversal.
• Rigueur, autonomie et sens de l'organisation pour gérer des pipelines complexes et sécurisés