Senior Data Engineer
- Azure
- Snowflake
- Data Architecture
- ETL
- ELT
- CI/CD
- SQL
- Airflow
- Azure Data Factory
- Git
- Azure DevOps
- Python
- Azure Functions
- Azure Blob Storage
- Power BI
- Agile
- Scrum
EN
CHALLENGE
JoinPARFOIS Data Intelligence and play a key role in shaping the future of our global data platform.
We are looking for aSenior / Lead Data Engineer to drive the evolution of our Data Engineering capabilities, combining hands-on engineering, technical leadership, architecture design and data platform modernization.
You will be responsible for designing and implementing scalable, reliable and secure data solutions that support analytics, operational reporting, advanced data initiatives and business decision-making across a global retail organization.
This role will serve as the technical reference for the Data Engineering area, driving architectural decisions, establishing best practices and supporting the technical development of the team, while ensuring the continuous evolution of our Azure and Snowflake-based data ecosystem.
MAIN RESPONSIBILITIES
- Act as the technical reference for the Data Engineering team, promoting best practices, technical excellence and knowledge sharing.
- Define and evolve the organization's data architecture, ensuring scalability, performance, security and maintainability.
- Design, develop and maintain robust ETL/ELT processes and data pipelines across the enterprise data platform.
- Develop scalable data products that support reporting, analytics and advanced data initiatives.
- Lead the evolution of our Cloud Data Platform, with a strong focus on Azure and Snowflake technologies.
- Integrate data from multiple sources, including databases, APIs, SaaS platforms, files and streaming technologies.
- Optimize existing processes and data pipelines, improving performance, reliability and operational efficiency.
- Implement monitoring, observability, logging, auditing and data quality frameworks.
- Define development standards, architecture guidelines, version control practices and engineering processes.
- Evaluate and define technical solutions, balancing performance, scalability, cost and maintainability.
- Lead the implementation and evolution of CI/CD practices and deployment processes for Data Engineering components.
- Collaborate closely with Data Analytics teams, business areas, IT and other stakeholders to support data-driven decision-making.
- Support the technical growth of team members through mentoring, coaching and technical guidance.
- Contribute to the long-term Data Engineering roadmap, helping modernize the platform towards cloud-native and scalable architectures.
- Promote Data Governance principles and ensure data quality, consistency and trustworthiness across the platform.
REQUIREMENTS (MUST HAVE)
- Solid experience inData Engineering, ideally 5+ years.
- Experience in technical leadership, architecture definition and team guidance.
- Strong knowledge ofSQL and relational databases, particularly SQL Server.
- Solid experience developingETL/ELT solutions and data pipelines.
- Experience withCloud Data Platforms, preferablyMicrosoft Azure.
- Experience withSnowflake or other Cloud Data Warehouse platforms.
- Knowledge ofData Warehouse, Data Lake and Data Platform architectures.
- Experience with orchestration tools such asAirflow and/orAzure Data Factory.
- Experience withGit and CI/CD practices, ideally Azure DevOps.
- Ability to analyse complex problems, identify bottlenecks and optimize data processes.
- Ability to define technical standards and software engineering best practices.
- Strong communication skills and ability to engage with different stakeholders.
Â
NICE TO HAVE
- Knowledge ofPython and SQL applied to Data Engineering.
- Experience withKafka, Streaming and Event-Driven Architectures.
- Experience withAzure Functions, Azure Blob Storage or other Azure services.
- Experience withPower BI, SSAS and integration between Data Engineering and BI platforms.
- Knowledge ofData Governance, Data Quality and Data Observability.
- Experience migrating data platforms fromOn-Premise to Cloud environments.
- Knowledge of modern data architectures, namelyLakehouse and distributed processing technologies.
- Experience working inAgile/Scrum environments and backlog management tools.
Â
WHAT WE OFFER
- The opportunity to shape and influence the evolution of a modern enterprise data platform.
- Participation in high-impact projects within a global retail organization.
- Exposure to a modern technology stack, including Azure, Snowflake and advanced Data Engineering practices.
- Integration into a highly skilled and collaborative Data Intelligence team.
- Continuous learning and professional development opportunities.
- Autonomy to influence architectural decisions and technical direction.
- Hybrid working model and a strong focus on innovation and continuous improvement.
Â
______________________________________________________________________________________________________________
PT
DESAFIO
Junta-te à equipa deData Intelligence da PARFOIS e assume um papel fundamental na construção do futuro da nossa plataforma global de dados.
Procuramos um(a)Senior / Lead Data Engineer para liderar a evolução das nossas capacidades de Data Engineering, combinando desenvolvimento técnico hands-on, liderança técnica, definição de arquitetura e modernização da plataforma de dados.
Serás responsável por conceber e implementar soluções de dados escaláveis, fiáveis e seguras que suportem análises, reporting operacional, iniciativas avançadas de dados e a tomada de decisão numa organização global de retalho.
Esta função será a principal referência técnica da área de Data Engineering, impulsionando decisões de arquitetura, definindo boas práticas e apoiando o desenvolvimento técnico da equipa, garantindo simultaneamente a evolução contÃnua do nosso ecossistema de dados assente em Azure e Snowflake.
PRINCIPAIS RESPONSABILIDADES
- Ser a referência técnica da equipa de Data Engineering, promovendo boas práticas, excelência técnica e partilha de conhecimento.
- Definir e evoluir a arquitetura de dados da organização, assegurando escalabilidade, performance, segurança e facilidade de manutenção.
- Conceber, desenvolver e manter processos robustos de ETL/ELT e pipelines de dados em toda a plataforma de dados corporativa.
- Desenvolver produtos de dados escaláveis que suportem reporting, analytics e iniciativas avançadas de dados.
- Liderar a evolução da nossa plataforma de dados em Cloud, com foco nas tecnologias Azure e Snowflake.
- Integrar dados provenientes de múltiplas fontes, incluindo bases de dados, APIs, plataformas SaaS, ficheiros e tecnologias de streaming.
- Otimizar processos e pipelines existentes, melhorando performance, fiabilidade e eficiência operacional.
- Implementar mecanismos de monitorização, observabilidade, logging, auditoria e controlo de qualidade dos dados.
- Definir standards de desenvolvimento, guidelines de arquitetura, práticas de versionamento e processos de engenharia.
- Avaliar e definir soluções técnicas, equilibrando performance, escalabilidade, custo e facilidade de manutenção.
- Liderar a implementação e evolução de práticas de CI/CD e processos de deployment dos componentes de Data Engineering.
- Colaborar de forma próxima com equipas de Data Analytics, áreas de negócio, IT e outros stakeholders para suportar decisões orientadas por dados.
- Apoiar o crescimento técnico dos elementos da equipa através de mentoring, coaching e orientação técnica.
- Contribuir para o roadmap de longo prazo da área de Data Engineering, ajudando a modernizar a plataforma para arquiteturas cloud-native e escaláveis.
- Promover princÃpios de Data Governance e garantir a qualidade, consistência e fiabilidade dos dados em toda a plataforma.
Â
REQUISITOS (MUST HAVE)
- Experiência sólida emData Engineering, idealmente 5+ anos.
- Experiência de liderança técnica / definição de arquitetura e acompanhamento de equipas.
- Conhecimentos fortes deSQL e bases de dados relacionais, nomeadamente SQL Server.
- Experiência sólida em desenvolvimento deETL/ELT e pipelines de dados.
- Experiência comCloud Data Platforms, preferencialmenteAzure.
- Experiência comSnowflake ou outra plataforma de Data Warehouse Cloud.
- Conhecimentos de arquitetura deData Warehouse / Data Lake / Data Platform.
- Experiência com ferramentas de orquestração, comoAirflow ouAzure Data Factory.
- Experiência comGit e CI/CD, idealmente Azure DevOps.
- Capacidade de analisar problemas complexos, identificar bottlenecks e otimizar processos de dados.
- Capacidade de definir standards técnicos e boas práticas de desenvolvimento.
- Boa capacidade de comunicação e de interação com diferentes stakeholders.
Â
VALORIZAMOS (NOCE TO HAVE)
- Conhecimentos dePython e SQL aplicado a Data Engineering.
- Experiência comKafka / streaming / event-driven architectures.
- Experiência comAzure Functions, Blob Storage ou outros serviços Azure.
- Experiência comPower BI / SSAS e integração entre Data Engineering e plataformas de BI.
- Conhecimentos deData Governance, Data Quality e Data Observability.
- Experiência em migrações de plataformason-premise para Cloud.
- Conhecimentos de arquiteturas modernas de dados, nomeadamenteLakehouse e processamento distribuÃdo.
- Experiência em metodologias Agile/Scrum e ferramentas de gestão de backlog.
Â
O QUE OFERECEMOS
- Oportunidade de influenciar e moldar a evolução de uma plataforma de dados empresarial moderna.
- Participação em projetos de elevado impacto numa organização global de retalho.
- Trabalho com uma stack tecnológica moderna, incluindo Azure, Snowflake e práticas avançadas de Data Engineering.
- Integração numa equipa de Data Intelligence altamente qualificada e colaborativa.
- Oportunidades contÃnuas de aprendizagem e desenvolvimento profissional.
- Autonomia para influenciar decisões de arquitetura e direção técnica.
- Modelo de trabalho hÃbrido e forte aposta em inovação e melhoria contÃnua.
Senior Data Engineer · PARFOIS