Como montar um portfólio de Engenharia de Dados do zero (com projetos práticos)
Se você está começando em Engenharia de Dados, provavelmente já percebeu que estudar Python, SQL, Airflow e Spark não é suficiente. Em algum momento, você precisa demonstrar que sabe utilizar essas ferramentas para resolver problemas reais.
É aí que entra o portfólio.
Neste artigo, vou compartilhar algumas ideias de projetos, ferramentas e uma estrutura que você pode utilizar para construir um portfólio de Engenharia de Dados, mesmo sem experiência profissional na área.
1. Não comece tentando construir algo complexo
Um erro comum é tentar criar uma arquitetura enorme logo no primeiro projeto, utilizando dezenas de tecnologias.
Na prática, é muito mais interessante construir projetos menores que demonstrem conhecimentos específicos.
Algumas ideias:
- Pipeline de ingestão de dados utilizando Python.
- ETL consumindo dados de uma API pública.
- Pipeline orquestrado com Apache Airflow.
- Data Warehouse utilizando PostgreSQL.
- Transformações de dados utilizando dbt.
- Processamento distribuído com PySpark.
- Dashboard utilizando Streamlit ou Power BI.
O importante não é a quantidade de ferramentas utilizadas, mas demonstrar que você entende o problema e sabe construir uma solução.
2. Um projeto que eu recomendo: pipeline de dados completo
Se você já conhece um pouco de Python e SQL, pode começar construindo um pipeline completo.
Imagine que você precisa consumir dados de uma API pública, armazenar essas informações, realizar transformações e disponibilizar os resultados para análise.
Uma arquitetura simples seria:
API Pública
|
v
Python ETL
|
v
PostgreSQL
|
v
dbt
|
v
Data Warehouse
|
v
Dashboard
Nesse projeto você consegue demonstrar conhecimentos importantes:
Ingestão
- Consumo de APIs REST.
- Tratamento de JSON.
- Paginação.
- Tratamento de erros.
Armazenamento
- Modelagem de dados.
- SQL.
- PostgreSQL.
Transformação
- Limpeza de dados.
- Modelagem dimensional.
- dbt.
Visualização
- Construção de indicadores.
- Streamlit ou Power BI.
Depois, você pode evoluir o projeto adicionando Airflow para orquestração e Docker para padronizar o ambiente.
Isso demonstra evolução técnica sem precisar começar com uma arquitetura extremamente complexa.
3. Como organizar seu projeto no GitHub
Não adianta construir um pipeline interessante e deixar todo o código sem documentação.
Uma boa documentação faz diferença na hora de apresentar seu projeto para recrutadores e outros profissionais.
Minha sugestão de estrutura:
data-engineering-project/
│
├── data/
│ └── README.md
│
├── dags/
│ └── pipeline.py
│
├── src/
│ ├── extract.py
│ ├── transform.py
│ └── load.py
│
├── sql/
│ └── models.sql
│
├── tests/
│ └── test_pipeline.py
│
├── docker-compose.yml
├── requirements.txt
└── README.md
No README, procure responder:
- Qual problema o projeto resolve?
- Qual arquitetura foi utilizada?
- Quais tecnologias foram utilizadas?
- Como executar o projeto localmente?
- Quais resultados foram obtidos?
Se possível, adicione imagens da arquitetura, exemplos de consultas SQL e resultados do pipeline.
4. Onde encontrar ideias para projetos?
Uma das maiores dificuldades de quem está começando é justamente encontrar ideias para praticar.
Separei alguns recursos que podem ajudar:
100 Data Engineering Projects
Uma coleção de ideias de projetos para praticar diferentes conceitos de Engenharia de Dados.
https://aureliowozhiak.gumroad.com/l/100DataEngineeringProjects
DashboardKit
Um conjunto de recursos para quem deseja praticar construção de dashboards e trabalhar com visualização de dados.
https://aureliowozhiak.gumroad.com/l/DashboardKit
Os dois materiais estão disponíveis no formato Pay What You Want, ou seja, você pode acessar gratuitamente ou contribuir com o valor que considerar justo.
Também recomendo explorar APIs públicas, como:
Elas permitem construir projetos utilizando dados reais.
5. O que eu estudaria para construir esse portfólio?
Se estivesse começando hoje, seguiria aproximadamente esta ordem:
| Etapa | Conhecimentos |
|---|---|
| 1 | Python e SQL |
| 2 | APIs e integração de dados |
| 3 | PostgreSQL e modelagem |
| 4 | ETL e ELT |
| 5 | Apache Airflow |
| 6 | dbt |
| 7 | Docker |
| 8 | Cloud (AWS, GCP ou Azure) |
| 9 | Spark e processamento distribuído |
Não é necessário dominar todas essas tecnologias antes de começar a desenvolver projetos.
Pelo contrário: construir projetos enquanto estuda costuma ser uma maneira mais interessante de consolidar o conhecimento.
6. Uma última dica: construa projetos que você consiga explicar
Durante uma entrevista técnica, não basta dizer que utilizou Python, Airflow ou Spark.
Você precisa conseguir explicar:
- Por que escolheu determinada arquitetura?
- Como lidou com falhas na ingestão?
- Como garantiria que os dados não fossem duplicados?
- Como monitoraria a execução?
- Como lidaria com aumento do volume de dados?
- Como garantiria a qualidade das informações?
Essas perguntas ajudam a diferenciar alguém que apenas reproduziu um tutorial de alguém que realmente compreende o funcionamento de um pipeline.
Conclusão
Se você está começando em Engenharia de Dados, minha recomendação é construir pelo menos três projetos bem documentados:
- Um projeto de ingestão utilizando Python e APIs.
- Um pipeline completo utilizando Airflow, SQL e dbt.
- Um projeto envolvendo processamento de dados com Spark ou alguma plataforma de cloud.
Não precisa ser algo gigantesco. Precisa ser algo que você consiga explicar, executar e evoluir.
Para quem quiser continuar estudando, também mantenho o dataengineer.help, com cursos, projetos práticos, materiais de estudo e uma comunidade voltada para Engenharia de Dados.
Se você já trabalha na área ou está começando, gostaria de saber: quais projetos vocês consideram interessantes para colocar em um portfólio de Engenharia de Dados?
Fonte: https://dataengineer.help/