About the role
A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.
Isso não poderia ser diferente com o nosso principal combustível: as pessoas!
Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.
Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.
Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!
>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.
Cadastre-se agora mesmo em nossas vagas!
Buscamos um Engenheiro de Dados Senior para atuar em uma arquiteturalakehouse na AWS, na qual o Snowflake e o Data Warehouse principal e
consome tabelas Apache Iceberg armazenadas no S3. O profissional seráreferencia técnica do ecossistema de dados, responsável por projetar,construir e evoluir pipelines robustos e a interoperabilidade entre odata lake e o warehouse, garantindo qualidade, performance, controle decusto e governança das soluções entregues.
Principais responsabilidades:
- Projetar e implementar pipelines de ingestão, transformação edisponibilização de dados em ambiente AWS, escrevendo e mantendotabelas Apache Iceberg no S3.
- Desenvolver jobs de processamento distribuído em Spark (EMR e/ou AWSGlue), incluindo cargas incrementais, upserts (MERGE) ereprocessamentos históricos.
- Garantir a integração entre Snowflake e o lakehouse Iceberg: externalvolumes, catalog integration (Glue Data Catalog), tabelas gerenciadaspelo Snowflake versus externamente gerenciadas e sincronização demetadados.
- Executar e automatizar a manutenção das tabelas Iceberg: compactaçãode arquivos pequenos, expiração de snapshots, remoção de arquivosórfãos, evolução de schema e de particionamento.
- Modelar e otimizar modelos de dados e queries no Snowflake, garantindoperformance e uso eficiente de recursos.
- Monitorar e otimizar custo e performance dos ambientes AWS e Snowflake(dimensionamento de warehouses, clustering, politicas de cache, custo
de leitura no data lake).
- Atuar na definição de boas praticas de engenharia de dados:versionamento em Git, CI/CD, testes de dados, documentação e linhagem.
- Implementar controles de governança e segurança: RBAC, politicas demascaramento e de row access no Snowflake e permissionamento via LakeFormation.
- Diagnosticar e solucionar problemas de performance e disponibilidadeem ambientes de dados críticos.
- Atuar como referencia técnica do time: revisão de código, mentoria deprofissionais menos experientes e registro de decisões de arquitetura.
- Colaborar com times de dados, produto e negocio no levantamento derequisitos e na definição de soluções.
Requisitos obrigatórios:
- Experiencia comprovada de no mínimo 5 anos atuando em ambiente Cloud AWS.
- Experiencia comprovada de no mínimo 3 anos com Snowflake, incluindo modelagem, otimização de queries e gestão de warehouses e custo.
- Experiencia comprovada em produção com Apache Iceberg (desejavel 2 anos ou mais): particionamento, evolução de schema, snapshots e time
travel, MERGE e rotinas de manutenção e compactação.
- Experiencia com Apache Spark em escala (PySpark), incluindo tuning de jobs e diagnostico de skew e shuffle.
- Conhecimento em serviços AWS voltados a dados: S3, Glue (ETL e Data Catalog), EMR, Athena, Lambda e Step Functions.
- Domínio de SQL avançado para consultas complexas e otimização em ambientes de grande volume de dados.
- Experiencia com modelagem de dados e arquiteturas de Data Warehouse, Data Lake e Lakehouse.
- Python aplicado a automação e engenharia de dados.
- Experiencia com orquestração de pipelines (Airflow, Step Functions, dbt ou equivalente).
- Git e cultura de versionamento, testes e code review.
- Inglês técnico para leitura de documentação.
Diferenciais:
- Certificação SnowPro (Core ou Advanced).
- Certificações AWS (Solutions Architect, Data Engineer ou Data Analytics).
- Experiencia com Terraform ou outra ferramenta de Infraestrutura como Código.
- dbt em produção.
- Experiencia com catálogos abertos (Glue Data Catalog, Polaris / Open Catalog, Unity) e cenários multi-engine.
- Experiencia com streaming (Kinesis, Kafka / MSK, Snowpipe Streaming).
- Ferramentas de observabilidade e qualidade de dados (dbt tests, Great
Expectations, Monte Carlo).
Competências comportamentais:
- Autonomia para conduzir entregas técnicas com pouca supervisão.
- Comunicação clara para interagir com áreas de negocio e times multidisciplinares.
- Pensamento analítico e foco em resolução de problemas complexos.
- Postura colaborativa e proatividade na proposição de melhorias técnicas.
Informações adicionais
A apresentação de um case em PPT sobre atuação de Snowflake
INDISPENSÁVEL Conhecimento/Atuação em:
AWS (experiência comprovada de no mínimo 5 anos).
Snowflake (experiência comprovada de no mínimo 3 anos).
Modelo de atuação REMOTO
Originally posted on Himalayas