Category Data Engineering

Falando sobre Lakehouses

📢 Você já ouviu falar em Data Lakehouses?
Um lakehouse é uma arquitetura de dados que une os pontos fortes dos data lakes e dos data warehouses. Essa abordagem permite armazenar dados em sua forma bruta (como nos data lakes) e, ao mesmo tempo, oferecer as garantias de consistência, governança e desempenho necessárias para análises (como nos data warehouses).

✅ Principais Características:
Armazenamento Unificado
Desempenho Analítico
Schema Enforcement e Evolução
Custo-Benefício
Flexibilidade
Future Proof

🏁 Em resumo, o lakehouse é uma solução moderna que busca eliminar a necessidade de manter repositórios separados para dados brutos e dados processados, simplificando a arquitetura e melhorando a eficiência na ingestão, processamento e análise dos dados.

[Fundamentos] Airflow

Imagem em formato de jogos 8 bits com os dizeres "Introudção ao Airflow"

Neste vídeo, o Lucas nos explica sobre a ferramenta de orquestração Airflow e seus componentes fundamentais.