Conhecimentos Obrigatórios Habilidade em Databricks: Experiência em trabalhar com Apache Spark em Databricks, incluindo a criação e otimização de pipelines de dados. Experiência em Pyspark e Python e Kedro: Fortes habilidades de programação em Pyspark e Python e Kedro para desenvolver, depurar e manter códigos de transformação de dados. Processamento Batch e Streaming de Dados: Conhecimento em processamento de dados em lotes e em streaming (mensageria), com a capacidade de projetar, implementar e manter pipelines de processamento de dados. Conhecimento em DevOps: Familiaridade com o uso do Jenkins para integração e entrega contínua (CI/CD), além de automação de tarefas de implantação e gerenciamento de pipelines. Git: Proficiência em Git para controle de versão de código-fonte e colaboração eficaz em equipes de desenvolvimento. Métodos Ágeis: Compreensão dos princípios e práticas de métodos ágeis, como Kanban e Scrum, para colaboração eficaz e gerenciamento de projetos. Orquestração (por exemplo, Control-M ou outros): Conhecimento em ferramentas de orquestração de processos, o que é importante para o agendamento e controle de fluxos de trabalho. Conhecimento em Microsoft Azure: Experiência com os principais serviços da Microsoft Azure para Dados, incluindo o Azure Databricks, Azure Data Factory e Azure StorageAccounts .
SALÁRIO E BENEFÍCIOS
ESPECIFICAÇÕES
Área: Dados Cargo: Engenheiro Plataforma: Python Especialidade: ETL Nível: Pleno
