Bolsista Graduado Engenharia de Dados Databricks - RP 17371 - SENAI
Bolsista Graduado Engenharia de Dados Databricks - RP 17371 - SENAI
Cód. 19626
Empresa:
SENAI DEPARTAMENTO REGIONAL DO ESTADO DO PARANA
Atividades:
Atuar no desenvolvimento de soluções para ingestão e tratamento de dados no ambiente Databricks, com garantia de governança, qualidade, segurança e eficiência operacional.
Atividades a serem desenvolvidas:
Migrar pipelines de dados de SQL Server (Integration Services) e Python para Databricks;
Desenvolver processos de ingestão, transformação, garantia de qualidade e disponibilização de dados utilizando Databricks e Delta Lake;
Implementar boas práticas de governança, segurança, qualidade e compliance de dados com o Databricks;
Desenvolver e sustentar fluxos ETL/ELT utilizando serviços do Databricks;
Documentar pipelines e soluções desenvolvidas;
Apoiar equipes de negócio no entendimento de requisitos e tradução para soluções em Databrick
Atividades a serem desenvolvidas:
Migrar pipelines de dados de SQL Server (Integration Services) e Python para Databricks;
Desenvolver processos de ingestão, transformação, garantia de qualidade e disponibilização de dados utilizando Databricks e Delta Lake;
Implementar boas práticas de governança, segurança, qualidade e compliance de dados com o Databricks;
Desenvolver e sustentar fluxos ETL/ELT utilizando serviços do Databricks;
Documentar pipelines e soluções desenvolvidas;
Apoiar equipes de negócio no entendimento de requisitos e tradução para soluções em Databrick
Requisitos:
Requisitos:
Experiência com engenharia de dados;
Domínio de SQL avançado (consultas, procedures, modelagem etc.) com experiência comprovada;
Domínio de Python aplicado ao tratamento e manipulação de dados;
Experiência prática com Databricks (notebooks, workflows, Delta Lake, Unity etc.);
Experiência em governança e segurança de dados em ambiente de nuvem.
Desejáveis (diferencial):
Conhecimento em soluções SQL Server Integration Services (SSIS);
Experiência com Spark/PySpark;
Conhecimento em Azure Data Lake ou outras soluções de big data;
Experiência com ferramentas de orquestração (Airflow, Azure Data Factory etc.);
Certificações Databricks.
Experiência com engenharia de dados;
Domínio de SQL avançado (consultas, procedures, modelagem etc.) com experiência comprovada;
Domínio de Python aplicado ao tratamento e manipulação de dados;
Experiência prática com Databricks (notebooks, workflows, Delta Lake, Unity etc.);
Experiência em governança e segurança de dados em ambiente de nuvem.
Desejáveis (diferencial):
Conhecimento em soluções SQL Server Integration Services (SSIS);
Experiência com Spark/PySpark;
Conhecimento em Azure Data Lake ou outras soluções de big data;
Experiência com ferramentas de orquestração (Airflow, Azure Data Factory etc.);
Certificações Databricks.
Escolaridade:
Ensino Superior Completo
Remuneração:
R$ 8.000,00
Formato de trabalho:
Remoto

