Engenheiro de dados
Descrição da vaga
Buscamos um(a) Engenheiro(a) de Dados para atuar em projetos estratégicos de negócios, tecnologia e dados de cliente do setor bancário, contribuindo para a construção, evolução e sustentação de soluções de integração, processamento e disponibilização de dados.
O profissional será responsável por desenvolver pipelines de dados eficientes, escaláveis e seguros, garantindo a qualidade, integridade e disponibilidade das informações utilizadas pelas diferentes áreas de negócio.
Além do conhecimento técnico, buscamos um profissional com perfil consultivo, boa comunicação e capacidade de interagir diretamente com stakeholders das áreas de negócio, compreendendo suas necessidades e traduzindo-as em soluções tecnológicas.
A atuação ocorrerá em um ambiente dinâmico, com grande volume de informações, arquitetura distribuída e utilização de tecnologias modernas, especialmente no ecossistema AWS.
Responsabilidades e atribuições
- Projetar, desenvolver, implementar e manter pipelines de dados para extração, transformação, integração e disponibilização de informações.
- Desenvolver processos de ETL/ELT, garantindo eficiência, escalabilidade, rastreabilidade e qualidade dos dados.
- Atuar na integração de diferentes fontes de dados, incluindo bancos relacionais, APIs, arquivos estruturados e semiestruturados.
- Desenvolver scripts e aplicações utilizando Python e SQL, com foco em extração, tratamento, transformação e manipulação de dados.
- Construir e otimizar soluções de processamento de dados em ambientes cloud, preferencialmente AWS.
- Participar da definição e evolução de arquiteturas de dados, considerando Data Lakes, Data Warehouses e soluções analíticas.
- Implementar mecanismos de monitoramento, observabilidade e tratamento de falhas nos pipelines.
- Aplicar boas práticas de segurança, governança, qualidade e proteção de dados, considerando os requisitos do ambiente financeiro.
- Identificar oportunidades de automação e melhoria contínua nos processos de engenharia de dados.
- Realizar levantamento e análise de requisitos diretamente com áreas de negócio, compreendendo processos, necessidades e objetivos.
- Traduzir requisitos funcionais e necessidades de negócio em especificações técnicas e soluções de dados.
- Interagir com equipes de desenvolvimento, arquitetura, infraestrutura, segurança e analytics.
- Documentar soluções, fluxos de dados, regras de transformação e integrações desenvolvidas.
- Apoiar análises técnicas e funcionais para identificação de inconsistências e oportunidades de melhoria nos dados.
Requisitos e qualificações
- Experiência sólida em desenvolvimento utilizando Python para processamento, manipulação e integração de dados.
- Conhecimento avançado em SQL, incluindo consultas complexas, joins, procedures e otimização de queries.
- Experiência com bibliotecas Python para tratamento e processamento de dados, como Pandas e PySpark.
- Experiência com integração de dados por meio de APIs REST, arquivos JSON, CSV e formatos como Parquet.
- Experiência na construção e manutenção de pipelines ETL/ELT.
- Conhecimento em modelagem de dados relacional e dimensional.
- Experiência com bancos de dados relacionais e soluções de armazenamento analítico.
- Conhecimento de arquiteturas Data Lake e Data Warehouse.
- Experiência com processamento de grandes volumes de dados.
- Conhecimento em mecanismos de orquestração e agendamento de pipelines.
- Familiaridade com conceitos de qualidade, catalogação, linhagem e governança de dados.
- Experiência no levantamento de requisitos funcionais e técnicos junto a usuários e áreas de negócio.
- Capacidade de compreender processos de negócio e identificar necessidades relacionadas ao consumo e tratamento de dados.
- Habilidade para transformar demandas de negócio em soluções técnicas estruturadas.
- Experiência na documentação de requisitos, regras de negócio e fluxos de integração.
- Capacidade de conduzir reuniões técnicas e funcionais com diferentes stakeholders.
Diferenciais técnicos
- Apache Airflow para orquestração de pipelines.
- PySpark para processamento distribuído e manipulação de grandes volumes de dados.
- Python aplicado a engenharia e ciência de dados.
- Pandas e Numpy para manipulação e análise de dados.
- SQL avançado para consultas, modelagem e otimização.
- Experiência com AWS Cloud, incluindo:
- AWS Glue (ETL/ELT)
- Amazon Redshift (data warehouse)
- Consultas em dados armazenados no Amazon S3
- Experiência com modelagem dimensional (fatos, dimensões, modelo estrela).
- Vivência com pipelines de dados e boas práticas de governança.
Desejáveis
- Experiência no setor financeiro
- Familiaridade com ferramentas de visualização (Power BI, Tableau, Looker).
- Conhecimento de versionamento (Git) e boas práticas de desenvolvimento.
- Noções de qualidade e catalogação de dados (Data Quality, Data Catalog).
Etapas do processo
- Etapa 1: Cadastro
- Etapa 2: Entrevista R&S
- Etapa 3: Entrevista técnica
- Etapa 4: Entrevista cliente
- Etapa 5: Carta Proposta
- Etapa 6: Contratação
Transformamos mundos sonhados em trajetórias reais.🧡🚀
Aqui somos #SangueLaranja!
Estamos há 17 anos no mercado, lado a lado com nossos clientes, proporcionando experiências transformadoras.
Somos um ecossistema de tecnologia e inovação, com expansão global; Além do Brasil estamos presentes na Europa e Reino Unido com escritórios em Portugal, Londres, Dubai e Holanda. 🌎
F de Formação: acreditamos na prática da cultura do compartilhamento, no senso de comunidade, e que o conhecimento
tem o poder da transformação!
Possuímos iniciativas, e ações sociais, que promovem o desenvolvimento, como a comunidade tech Orange Juice, o Programa de Formação,
nossa escola de liderança e diversas parcerias com ONGs e Edtechs.
Na FCamara todos são bem-vindos, para nós, Diversidade, Respeito e Ética, são elementos inegociáveis e fazem parte do nosso DNA.
E aí, está pronto para fazer parte de um time incrível e ser protagonista da própria história?
CONHEÇA MAIS SOBRE NÓS