Afonso Pereira

Data Engineering Consultant

Arquitetura de Sistemas | Backend Development | Cloud Data Solutions

Databricks Airflow Azure Cloud System Architecture
Entre em Contacto

Sobre Mim

Data Engineering Consultant com experiência em arquitetura de sistemas de dados e desenvolvimento de software. Especializado em desenhar e implementar soluções end-to-end, desde pipelines de dados IoT e orquestração de workflows, até sistemas backend e data services escaláveis.

Forte background em ferramentas open-source e cloud-native, com histórico comprovado de otimizações significativas (incluindo redução de tempos de processamento de 12 horas para 27 minutos). Combino visão arquitetural com implementação técnica hands-on para criar soluções robustas e eficientes.

Para além da engenharia de dados, sou bombeiro voluntário em formação com treino médico de tripulante de ambulância, demonstrando compromisso com a comunidade e capacidade de trabalhar sob pressão em ambientes críticos.

Highlights

  • Arquitetura de sistemas de dados e software
  • Otimização de pipelines: 12h → 27min
  • Backend development & data services
  • Expertise em ferramentas open-source e cloud

Experiência Profissional

Data Engineering Consultant

Renewable Energy & IoT Data Solutions

2022 - Presente
  • Liderança técnica de data hub internacional com gestão de pipelines IoT para milhares de dispositivos
  • Arquitetura e design de sistemas de dados end-to-end, incluindo backend services e APIs
  • Otimização crítica de pipeline de dados: redução de 12 horas para 27 minutos de processamento
  • Implementação de soluções com Databricks, Azure, Delta Live Tables e ferramentas open-source
  • Orquestração de workflows com Airflow, Prefect e outras ferramentas de data orchestration
  • Desenvolvimento e manutenção de CI/CD pipelines com GitHub Actions e Azure DevOps
  • Gestão e mentoria de equipa técnica, incluindo supervisão de estagiários
  • Integração de banking APIs com encriptação PGP e desenvolvimento de integrações SharePoint

Junior Data Engineer

E-commerce & Marketplace

2020 - 2022
  • Rápida progressão de carreira: Shopper → Operations Management → Junior Data Engineer
  • Desenvolvimento de soluções de engenharia de dados para plataforma de e-commerce
  • Otimização de queries SQL e melhoria de arquitetura de sistemas de dados

Competências Técnicas

Cloud & Plataformas

Databricks Azure AWS Delta Lake

Engineering & Arquitetura

System Architecture Data Pipelines ETL/ELT IoT Systems

Orchestration & Open Source

Airflow Prefect Airbyte dbt

Backend & Data Services

REST APIs Microservices Flask FastAPI

CI/CD & DevOps

GitHub Actions Azure DevOps Docker Git

Integrações & Segurança

API Integration PGP Encryption OAuth Authentication

Programming & Databases

Python SQL Bash NoSQL

Monitoring & Observability

Pipeline Monitoring Azure Monitor Logging Alerting

Software Engineering

Design Patterns Clean Code Testing Refactoring

Outras Competências

Arquitetura & Design de Sistemas
  • Arquitetura de sistemas de dados end-to-end
  • Design de backend services e microservices
  • Padrões de design e boas práticas de software
  • Otimização de performance e escalabilidade
Gestão & Liderança
  • Liderança técnica de equipas internacionais
  • Mentoria e supervisão de engenheiros
  • Business development & propostas técnicas
  • Comunicação com stakeholders e clientes

Vamos Trabalhar Juntos

Interessado em discutir um projeto de Data Engineering ou explorar oportunidades de colaboração?

LinkedIn: Afonso Pereira

Localização: Portugal | Disponível para remote e hybrid