Job Description
Responsabilidades
- Diseñar e implementar procesos ETL/ELT en AWS Glue y PySpark.
- Desarrollar pipelines para transformación y migración de datos de alto volumen.
- Diseñar procesos de reconciliación y validación de datos en EMR Serverless.
- Optimizar jobs Spark y mejorar performance de pipelines.
- Definir estándares técnicos y buenas prácticas para el equipo.
- Realizar revisiones técnicas de desarrollos.
- Identificar riesgos técnicos y proponer soluciones.
- Colaborar con arquitectura, plataforma y seguridad en definiciones técnicas.
Requisitos técnicos
- PySpark y Python avanzados.
- AWS Glue, Glue Data Catalog, Glue Data Quality.
- Amazon S3, Apache Iceberg, EMR Serverless.
- Athena, DMS,...