Job Description
Atuar do dado bruto até a entrega para analytics, construindo e mantendo pipelines de ETL/ELT com Python e SQL , além de coletar dados externos via web scraping quando necessário. O foco é qualidade, rastreabilidade, automação e conformidade, evitando pipelines frágeis.
Responsabilidades
- Desenvolver e manter pipelines de ETL/ELT com Python e SQL.
- Tratar e padronizar dados, incluindo limpeza, deduplicação, validações, regras de negócio e enriquecimentos.
- Implementar web scraping de fontes públicas, com controle de taxa, reprocessamento, versionamento, logs e tratamento de mudanças no site.
- Estruturar rotinas de coleta com tolerância a falhas, por exemplo retries, backoff e captura de erros.
- Criar camadas de dados para consumo analítico, com documentação e dicionário de dados.
- Monitorar pipelines, criar alertas, métricas de qualidade, auditoria e reconciliação.
- Trabalhar com s...