Nosso cliente é líder em serviços de informação e responsável pela maior base de dados da América Latina está em busca de um Engenheiro de Dados Sênior para trabalhar em uma de suas tribes.
Você será responsável pela estruturação de estratégia de gerenciamento de dados, consolidando a cultura da empresa data-driven, garantir a escalabilidade à infraestrutura utilizada para comportar todo universo de dados. Entender e antecipar as necessidades de dados das equipes; desenvolver e manter estrutura de Data Warehouse unificando a fonte de consumo de dados e mantê-los confiáveis e otimizados para serem acessados; Construir e manter pipelines de dados e de integração com APIs para aplicar regras de negócio e carregá-los no local e formato adequados;
Requisitos da posição:
Conhecimentos Técnicos e domínio em tecnologias como:
- Hadoop: HDFS, Mapreduce ;
- ETL: Sqoop, flume, Spark;
- SQL: DB2(Diferencial)
- NOSQL: HBASE , MongoDB ou Cassandra;
- Formatos de dados: Parquet, Avro e Orc;
- Data manipulation: Hive, Bash Scripts, Impala, Spark Streaming, Flink ou Storm e Kafka
- Linguagens: Python, Java, Scala (Diferencial)
- Conhecimento em arquitetura Lambda e Kapp
- Conhecimento em sistemas transacionais e MainFrame são diferenciais
Buscamos profissionais que já possuem experiência como Engenheiro de Dados em projetos de Big Data envolvendo ingestão, transformação, armazenamento e disponibilização de dados.
Necessário conhecimento avançado em inglês pois poderá participar de reuniões presenciais e conference calls em eventuais demandas. E disponibilidade para viagens esporádicas