Job Description
Deine Aufgabe
Wir suchen einen Data Engineer , der unser Team in DBIZ verstärkt. Die Technik Value Stream Teams sind verantwortlich für Data Ingest auf One Data Entry (ODE), die Entwicklung der relevanten Datenprodukte auf ODE und den Betrieb der Datenprodukte auf ODE.
Aufgaben
- Infrastruktur-Deployment & Management: Effizientes Deployment und Management von Infrastruktur auf der Google Cloud Platform (GCP), einschließlich Netzwerkarchitekturen (Shared VPC, Hub-and-Spoke), Sicherheitsimplementierungen (IAM, Secret Manager, Firewalls, Identity-Aware Proxy), DNS-Konfiguration, VPN und Load Balancing.
- Datenverarbeitung & Transformation: Nutzung von Hadoop-Clustern mit Hive für Datenabfragen und PySpark für Datentransformationen. Implementierung von Job-Orchestrierung mit Airflow.
- Management von GCP-Kerndiensten: Umfangreiche Arbeit mit Services wie Google Kubernetes Engine (GKE), Cloud Run, BigQuery, Compute Engine und Composer, ...