Job Description
Position Description:
Dans le cadre d'un Centre de Services Data, nous recherchons des Data Engineer intervenant sur la conception, le développement et le maintien de collectes de données sur Google Cloud Platform.
Your future duties and responsibilities:
Développer et faire évoluer des pipelines de collecte de données batch et streaming.
• Concevoir des flux d'ingestion, transformation et exposition de données sur GCP.
• Développer des traitements Python et SQL pour l'alimentation des plateformes Data.
• Implémenter et maintenir des solutions basées sur BigQuery, Dataflow, Composer (Airflow), Pub/Sub, Cloud Run et GCS.
• Réaliser les analyses d'impact, les tests, les mises en production et le support des collectes existantes.
• Garantir la qualité, la performance, la fiabilité et la traçabilité des données.
• Travailler dans un environnement Agile/DevOps avec GitLab CI/CD.
Required qualifications ...