Job Description
En IOL InvertirOnline queremos sumar personas para el rol de SR Data Engineer al equipo de Data Management.
Responsibilities
- Tu misión será garantizar que los datos de IOL fluyan de forma confiable desde las fuentes hasta los consumidores (analistas, modelos, dashboards, APIs), con la calidad, trazabilidad y performance que el negocio necesita.
- Diseño y construcción de pipelines: Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Databricks (Delta Lake, Spark Structured Streaming, Delta Live Tables), asegurando idempotencia, resiliencia y trazabilidad.
- Arquitectura Lakehouse: Implementar y evolucionar la arquitectura Medallion (Bronze / Silver / Gold) en Databricks, definiendo estándares de modelado y particionado para las capas del data lake.
- Calidad y gobierno de datos: Implementar controles de calidad (Great Expectations, Delta constraints, pruebas automatizadas) y trabajar con Unity Catalog ...