[JOB 29729] Engenheiro de Dados Senior (Databricks, PySpark e MongoDB)

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions. Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy. Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

• Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados Sênior em um projeto focado em integração, processamento, modelagem e otimização de dados, com forte utilização de Databricks, PySpark e MongoDB.
• O profissional deverá ter perfil hands-on, autonomia técnica, visão crítica e foco em produtividade, qualidade, performance e melhoria contínua. Atuará em squads ágeis, colaborando com equipes técnicas e de negócio para definição, refinamento, desenvolvimento e sustentação de soluções de dados escaláveis.
• As principais tecnologias e competências envolvidas são:
• Databricks com PySpark
• Spark e Python
• MongoDB
• Modelagem e manipulação de dados estruturados e semiestruturados
• Construção e otimização de pipelines de dados
• Integração entre fontes relacionais, não relacionais e ambientes analíticos
• Boas práticas de engenharia, versionamento e qualidade de dados
• Experiência com metodologias ágeis
• Diferencial em uso de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado
• O profissional deve possuir sólidos conhecimentos em engenharia de dados, lógica de programação, desenvolvimento de pipelines escaláveis, otimização de performance e boas práticas de desenvolvimento, além de colaborar com áreas de negócio e tecnologia para definição, revisão e implementação de regras e soluções de dados.
• Responsabilidades:
• Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, Spark e PySpark.
• Atuar na integração, extração, transformação e carga de dados provenientes de bases MongoDB.
• Trabalhar com dados estruturados, semiestruturados e documentos JSON, garantindo organização, qualidade e consistência das informações.
• Desenvolver processos de ingestão, transformação e disponibilização de dados para consumo analítico e operacional.
• Construir produtos de dados escaláveis, com foco em performance, confiabilidade e qualidade.
• Garantir boas práticas de desenvolvimento, assegurando que as soluções de dados sigam padrões de qualidade, eficiência, escalabilidade e manutenibilidade.
• Aplicar boas práticas de versionamento, testes, revisão de código e qualidade de dados.
• Apoiar refinamentos técnicos e funcionais, garantindo clareza, viabilidade e aderência das histórias às necessidades do projeto.
• Apoiar na construção de histórias de usuário bem definidas, facilitando o desenvolvimento pelos times de engenharia de dados.
• Participar do desenho AS-IS e TO-BE, documentando processos atuais e futuros, identificando débitos técnicos, riscos e oportunidades de melhoria.
• Desenvolver histórias refinadas e aprovadas, garantindo qualidade, eficiência e aderência aos padrões técnicos.
• Colaborar com focais de dados, negócio e tecnologia para garantir que as soluções estejam alinhadas às necessidades do negócio e às melhores práticas de engenharia.
• Propor melhorias contínuas nos processos, arquitetura, performance e produtividade do time.
• Utilizar, quando aplicável, ferramentas de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado, visando ganho de produtividade e qualidade.
• Qualificações Necessárias:
• Conhecimentos Técnicos:
• Forte experiência com Databricks e PySpark.
• Sólido conhecimento em Spark, Python e lógica de programação.
• Experiência com MongoDB, incluindo consultas, modelagem de documentos e manipulação de dados em formato JSON.
• Experiência na construção de pipelines de dados escaláveis e performáticos.
• Conhecimento em integração de dados entre MongoDB e ambientes analíticos.
• Capacidade de trabalhar com dados estruturados, semiestruturados e não relacionais.
• Domínio de boas práticas de engenharia de dados, versionamento, testes, revisão de código e qualidade de dados.
• Experiência em otimização de performance de pipelines e processamento distribuído.
• Experiência em squads ágeis e metodologias ágeis.
• Capacidade de atuar na identificação de débitos técnicos, melhoria de processos e evolução de soluções existentes.
• Diferencial: experiência com uso de IA aplicada ao desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado.
• Qualidades Comportamentais:
• Proatividade para aumentar a capacidade de entrega do time.
• Perfil hands-on, com autonomia para conduzir atividades técnicas.
• Capacidade analítica para interpretar bases de dados, regras de negócio e propor soluções.
• Habilidade de resolução de problemas, identificando causas, riscos e alternativas.
• Perfil consultivo, trazendo ideias, soluções e melhorias para o projeto, sem aguardar apenas direcionamentos.
• Visão 360º, entendendo o projeto como um todo e avaliando impactos técnicos e de negócio das soluções propostas.
• Comunicação assertiva, com clareza, confiança e respeito.
• Visão crítica, foco em produtividade e melhoria contínua.
• Capacidade de colaboração com times técnicos, áreas de negócio e stakeholders.