Executive Summary #08: Tudo sobre Data Mesh

Executive Summary Banner

Esta é a Executive Summary, a nossa curadoria de conteúdo para executivos e líderes que são stakeholders em projetos de Data & AI.

Na edição deste mês temos apenas 1 tendência: Data Mesh. Recomendamos a leitura do artigo original da Thoughtworks, que cunhou este termo.

Abaixo, o nosso resumo executivo:

Tendência 01/01
Data Mesh

O que é?
Esta dica é baseada no artigo original da Thoughtworks, que você pode encontrar aqui. Trata-se de uma proposta para mudarmos a forma monolítica de construirmos arquiteturas de dados, que perdura desde os tempos do Data Warehouse.

Por que isto é interessante?
As estruturas de dados modernas (ex: Data Lake), possuem diversas tecnologias para ingestão, armazenamento e uso dos dados, porém a arquitetura em si é geralmente monolítica e tratada por um time centralizado de especialistas. Este tipo de arquitetura não funcionou para a Engenharia de Software no geral, que se modernizou e se especializou em micro-serviços (lado técnico) e squads que gerenciam estes serviços (lado organizacional). Por isso, para que possamos escalar nossas estruturas de dados, temos que aplicar os mesmos conceitos a elas.

Como posso colocar em prática?
Leia o artigo para maiores detalhes, porém de maneira objetiva: é necessário que cada Domínio cuide de seus próprios dados, tanto de maneira operacional (OLTP) quanto de maneira analítica (OLAP). Aqui cabe a filosofia da Amazon Web Services: cada serviço construído deve servir como um bloco, que poderá sustenar a criação de novos serviços a partir destes.


Update Sem Where #50

Logo da nossa newsletter, chamada Update sem Where

[Análise]   
Não é surpresa para ninguém que o mercado de tecnologia possui falta de mão de obra qualificada. E não é apenas no Brasil!

A crescente digitalização das empresas (em parte impulsionada pela pandemia) e a grande tendência de permitir o trabalho remoto (também em grande parte impulsionada pela pandemia), fez com que a competição por talentos, antes baseada na localização, se torna-se uma luta global e desigual por talentos.

Global pois remota e desigual pois, com o real desvalorizado frente a outras moedas, fica muito fácil para empresas extrangeiras conseguirem atrair candidatos com salários exorbitantes, se convertidos para o Real, mas que na moeda de origem, podem representar menos do que se pagaria a um profissional morando naquele país. Ganha-ganha para quem contrata e para quem é contratado.

No Brasil temos como defesa, e aqui com um tom de ironia, o fato de que cerca de 95% da população não fala inglês, que é a língua utilizada pelas empresas que contratam remotamente, mesmo que não sendo Norte-Americanas ou Inglesas. Sabe quando na entrevista de emprego te perguntam um defeito e você pensa em responder um defeito que seja uma qualidade (alô “perfeccionismo”)? Então, é mais ou menos por aí.

Porém, internamente, temos nossa própria batalha de talentos. Por isso, cada vez mais as empresas investem em cursos de formação, já visando contratar os com melhor desempenho.

Só neste mês temos mais de 5 mil vagas para cursos, vindas de empresas como Microsoft, Itaú e ciandt.

Não fique de fora. O mercado de tecnologia está aquecido e, se você planeja trocar de área para entrar na tecnologia, o momento é agora.

“Ah, mas tecnologia não é só para geeks?”, pode perguntar uma pessoa qualquer. Não, não é. Assim como a Medicina, a área de Tecnologia possui diversas especializações, indo de Vendas até Fabricação de Hardware, passando por Codificação, Gestão de Projetos, etc.

Não é um mercado fácil, pois você tem que estar sempre se atualizando. Mas, nada que vale a pena na vida é fácil. E é melhor enfrentar desafios estando empregado e, possivelmente, sendo bem pago, do que o contrário.

Boa leitura e boa sorte!

[Data Engineering & Machine Learning
Tag-based access control for modern data architectures
– Construa uma Arquitetura Data Mesh com AWS Lake Formation e Glue
– Release do Airflow 2.3.0
PyCaret 3.0 lançado!
MLOps em 10 minutos
– Microsoft oferece 5 mil vagas gratuitas em capacitação
– ciandt abre vagas para curso gratuito de capacitação
– Itaú oferece vagas gratuitas para curso de capacitação
Operacionalizando Machine Learning em 10 passos
PyDon’ts: Ebook com melhores práticas para codificação em Python

[Amazon Web Services]  
– Agora é possível criar Jobs Visuais no AWS Glue Studio
AWS Glue Interactive Sessions permite o uso de notebooks no Glue
– AWS Athena adiciona conectores aos principais concorrentes
– Redshift agora possui integração com Microsoft Azure AD e PowerBI
– AWS MSK lançado, tornando o Kafka As A Service disponível

[Microsoft Azure]  
– Utilize a Plataforma Power para construir soluções Low Code
– Lançado o Azure Health Data Services
– Microsoft libera a Feature Store do Linkedin

[Google Cloud Platform]  
– Lançada a nova plataforma AlloyDb
– Links para as diversas sessions workshops gravadas no Google I/O
– Resumo de algumas novidades anunciadas no Google I/O
– Utilização de Machine Learning para melhorar o trabalho remoto
– Lançado o Big Query BI Engine!
– GCP lança o whitepaper The Future of Data
– Participe do Google Cloud Applied ML Summit
– Google lança o Cost Esmimator chamado GKE

[Databases]  
Postgres: Parquet e Postgres em um Data Lake
Postgres: Monitoramento de query com pg_stat_statements
Postgres: Entenda sua carga com pg_stat_monitor
Postgres: Um guia para migrações com zero downtime
Postgres: Analisando o IO do Postgres
Postgres: Fazendo tuning do auto-vacuum

Executive Summary #07: Indústria 4.0

Executive Summary Banner

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 3 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/03
Indústria 4.0 é mais do que Fábrica 4.0

O que é?
Esta dica é baseada no artigo de mesmo nome do Silvio Meira, que você pode encontrar aqui. De maneira geral as empresas têm utilizado as novas tecnologias para digitalizar as fábricas “Mas o paradigma e o modelo mental de quase toda a indústria, [quase] até agora, ainda é definido pela linha de montagem móvel e a produção em massa, fenômeno secular, associado a Ford e “sua” linha de montagem de 1913 em Highland Park”.

Por que isto é interessante?
Segundo o autor há muito mais a explorar pois “Acontece que digitalização não muda fundamentos da criação, entrega e captura de valor; é apenas codificação de processos de suporte aos fundamentos, por um lado, e interfaces digitais de controle dos processos e uso de artefatos, por outro.”

Como posso colocar em prática?
Leia o artigo do Silvio Meira e implemente a verdadeira Transformação Digital da Indústria 4.0


Tendência 02/03
(In)Equidade de Gênero na Área de Dados

O que é?
Segundo a mais recente pesquisa State Of Data , apesar das mulheres serem 49% da população brasileira, elas são apenas 23,3% das profissionais em níveis de entrada na área de dados e apenas 13% nos níveis de gestão.

Por que isto é interessante?
Combater as diversas formas de preconceito presentes em nossa sociedade é algo muito importante para a qualidade de vida e produtividade das pessoas, o que possui impacto direto no faturamento das empresas.

Como posso colocar em prática?
Este é um tema muito grande para esta newsletter, mas começar a conhecer os dados da sua própria empresa pode ajudar a propor políticas para melhorar os indicadores definidos.


Tendência 03/03
Investimento privado em IA de 2021 é o dobro de 2020

O que é?
A mais recente pesquisa global AI Index Report traz um número muito interessante: o investimento privado em IA dobrou em 2021 (em relação a 2020), e também existe um número recorde de novas startups com soluções baseadas em IA.

Por que isto é interessante?
A concorrência é interessante para o mercado, pois torna as soluções mais acessíveis, além de permitir que players atuem em nichos específicos, podendo possuir soluções prontas para seus problemas e/ou oportunidades a serem exploradas.

Como posso colocar em prática?
Analisar o ecossistema de inovação de sua região pode trazer novos parceiros, que ajudaram você a atingir seus objetivos estratégicos.

Update Sem Where [Março/2022]

Logo da nossa newsletter, chamada Update sem Where

[Análise]   
O mercado de Data possui importantes relatórios lançados ao longo do ano.

Neste mês, tivemos o lançamento de dois deles: Artificial Intelligence Index Report (escopo global) e o State of Data (escopo Brasil). Aproveite e se atualize sobre o estado do mercado!

O ritmo de novidades tecnológicas diminuiu um pouco, com as empresas guardando o seu melhor para os diversos eventos ao longo do ano, ótimo momento para reler as últimas newsletters e implementar as mudanças que ficaram no backlog.

Boa leitura!

[Big Data & Machine Learning
From zero to hero: Uma jornada de Data Analyst a Engenheiro Sênior
– Lançado o relatório Artificial Intelligence Index Report 2022
Indústria 4.0 é muito mais do que Fábrica 4.0
State of Data Brasil lançado
– Usando AutoEncoders em Redes Neurais Não Supervisionadas
– Descobrindo Partículas de Informação com a Teoria de Shannon
– O que Data Scientists podem aprender com Economistas
– Características de Séries Temporais
KPIs que todo Time de Dados deveria ter

[Amazon Web Services]  
– Lançado o novo AWS QuickSight Community
AWS Lambda agora suporta 10GB de storage efêmero
– PostgreSQL RDS agora suporte FDW para MySQL
– RDS MySQL & PostgreSQL MultiAZ Deployment

[Microsoft Azure]  
– Lançado o Azure Health Data Services para execução de algoritmos de IA
– Microsoft Azure nomeada como Líder no Quadrante da The Forrester
– Introduzindo o Azure Synapse para o Dataverso
– Novidades na PaaS Azure Stream Analytics

[Google Cloud Platform]  
Federated Learning na GCP
– Uso de NLP na Google Cloud para geração de insights
– Criado repositório de análise de log, com foco em Dados e Segurança
Economizando com Cloud Spanner
– Pipeline de dados do SAP para BigQuery com Cloud Cortex

[Databases]  
Flyway: Versionamento de objetos e criação de scripts
Postgres: Usando plprofiler para testar performance do banco de dados
Postgres: Fazendo tuning de max_wal_size
Postgres: Realizando sharding do banco de dados
Postgres: Automatizando testes no banco de dados com pgTAP
Postgres: Análise de uso de JSON em Postgres

Executive Summary [Fevereiro/2022]

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 2 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/02
Design Patterns em Big Data

O que é?
Existem milhares (talvez milhões) de fontes de dados. Existem centenas (talvez milhares) de tecnologias que processam dados. Portanto existem milhões de possibilidades na construção de pipelines de coleta e processamento de dados. Porém, as diversas opções são, na verdade, parte de um número menor e arquetípico de modos de processamento dos dados.

Por que isto é interessante?
Entender os tipos de padrões existentes para o processamento de dados, pode ajudar as equipes técnicas a criar soluções resilientes e com maior rapidez, trazendo maiores benefícios de negócio para a empresa.

Como posso colocar em prática?
Fique de olho em nosso site para novidades!

Tendência 02/02
Indexação de conteúdo de documentos escaneados

O que é?
É muito comum que as empresas possuam documentos escaneados, ou mesmo gerados digitalmente em PDF. Fazer a gestão do conhecimento contida nestes documentos é algo complexo.

Por que isto é interessante?
Criar processos que possam extrair e indexar o conteúdo destes documentos, disponibilizando-os ao alcance de uma ferramente de busca corporativa “a la Google”, permite que a empresa possa facilmente encontrar o conhecimento em seus documentos.

Como posso colocar em prática?
Utilizando arquiteturas de processamento de dados que possam:
– Extrair o texto do documento
– Identificar keywords importantes
– Indexar todo este conteúdo em uma ferramenta que busca

Update Sem Where [Fevereiro/2022]

[Análise]   
E iniciamos o nosso ano com um bom ritmo de novidades!

Justificando seu marketshare, a AWS é a cloud com mais novidades neste início de ano, onde vemos um foco maior em soluções e arquiteturas que geram valor para os clientes.

Tendência esta também vista em seus competidores: um foco maior em soluções que geram valor e menor em “tecnologia pela tecnologia”.

Também temos um interessante novo competidor dentro do nem-sempre-tão-comentado ramo dos bancos de dados NewSQL, que são os bancos de dados relacionais e escaláveis, que procuram unir os mundos SQL e NoSQL. Veja a documentação do Yuga, que chega para brigar com competidores como Google Cloud Spanner e Cockroach DB.

Boa leitura!

[Big Data & Machine Learning
Yuga: um banco de dados escalável e resiliente
– Explicação sobre o algoritmo de Árvore de Decisão
Sete passos para aprender Machine Learning
– Um guia para a escolha de qual modelo de Machine Learning utilizar
– Uma comparação entre PyTorch e TensorFlow
Design Patterns em MLOps

[Amazon Web Services]  
– Modelos de Detecção de Fraude da Amazon em Python
– Arquitetura para extração e indexação de conteúdo de documentos
– Como monetizar suas APIs baseadas em dados
– Analisando os benefícios do AQUA para a performance do Redshift
– Embedando o Quicksight Q em suas soluções
Detecção de anomalias com o Opensearch

[Microsoft Azure]  
– Monitoramento avançado com Azure Monitor
– Integração de Logs com Logz.io

[Google Cloud Platform]  
– Criando modelos de Machine Learning para a área de Seguros
Análise Exploratória de Dados na GCP com Netapp
– Perpectivas de CyberSecurity na CISO 2022

[Databases]  
Flyway: Lidando com migrações que falharam
Flyway: Devops 101 com Flyway
Flyway: Customizando deploys de bancos de dados
Postgres: FDW para arquivos Parquet no S3
Postgres: pg_query_rewrite permite reescrever queries executadas
Postgres: PgSpider permite o uso do Postgres como um Presto
Postgres: Nova versão do PgPool lançada
MySQL: Point in time Recovery
MySQL: Configurando Disaster Recovery
MySQL: Dump & Load
MongoDB: Conector para o Apache Kafka lançado
MongoDB: 10 sinais de que sua arquitetura de dados está limitando sua inovação

Update Sem Where [Dezembro/21]

[Análise]   
E finalmente chegamos ao fim de mais um ano. Se 2021 (se) foi melhor do que 2020, também não podemos nos esquecer que ainda foi um ano com mais desafios ligados à pandemia do que gostaríamos.

Em Dezembro de 2021, ao que me parece, o sentimento da população é muito parecido com o sentimento que existia (a Gestalt) de Dezembro de 2020. À época também acreditávamos ter vencido o vírus, mas todos sabem que a história não foi assim.

Porém, a tendência agora parece ser realmente diferente, a cobertura vacinal ao redor do globo nos dá motivos para acreditar que sim, 2022 será mais parecido com 2019 do que com 2020.

No mundo da tecnologia, dentro do nicho de Dados, nossas apostas vão para projetos voltados cada vez mais para Engenharia de Dados e Big Data. A digitalização das empresas nos últimos 2 anos fizeram com que várias empresas passassem a usar sistemas e a gerar dados, que antes não existiam. Com isso, surge a necessidade de uma cultura que pare para olhar estes dados para que se possa tomar decisões com eles.

Porém, antes disso, a casa terá que ser arrumada. Unir dados de diferentes fontes, criar um catálogo de dados, cuidar da qualidade deles e possui um ambiente com capacidade elástica para processamento serão os desafios das empresas nos próximos anos.

E estaremos junto com você nesta jornada!

Boa leitura!

[Machine Learning & Data Engineering
– Guia prático para ARIMA com PyCaret
Todos os testes estatísticos para uma boa Regressão Linear
– Como fazer tuning de seu modelo de XGBoost
Dez tendências de AI para 2022
– Por quê Machine Learning Engineers estão crescendo mais do que Data Scientists?
Design Patterns para Machine Learning Pipelines
Introdução ao Shap em Python
– A importância do pensamento Bayesiano no dia-a-dia
– Aumentando a acurácia de Computer Vision no Tensorflow
“Dos and Don’ts” de um Data Scientist

[Amazon Web Services]  
Novas Features para o comando COPY no Redshift, para facilitar o dia do Data Engineer
Gerenciando dados pessoais de maneira automatizada na AWS
– AWS anuncia reduçãode até 31% nos custos de algumas classes do S3
– Criando uma Arquitetura de Data Mesh (Pub/Sub) na AWS
– AWS oferece serviço de consultoria para migração de dados com o Data Migration Accelerator
– Os benefícios de utlizar “in-memory” cache

[Microsoft Azure]  
– Como implementar AI responsavelmente
– Microsoft é definida como líder no Quadrante Gartner de DBMSs
– Azure aumenta seu conteúdo para processamento Geoespacial
– 5 Razões para usar o Azure Databricks

[Google Cloud Platform]  
Melhores posts sobre AI na GCP em 2021
Tendências que a GCP levantou junto a seus clientes em 2021
– Como lidar com o Log4J na GCP
– Principais novidades da GCP em Dezembro
– Utilizando o Contact Center AI para melhorar o relacionamento com clientes

[Postgres]  
– Lançada nova versão do DBComparer, que analise sincroniza o DDL de diferentes Postgres
– Nova versão lançada do Conversor de DB MySQL to Postgres

[MySQL]  
– Implementando soluções de Disaster Recovery com MySQL
– Recap da Oracle Database World
Usando o HeatWave para acelerar a criação de Insights

[MongoDB]  
– Sinais de que sua Arquitetura de Dados está limitando seu crescimento: Parte 1
– Sinais de que sua Arquitetura de Dados está limitando seu crescimento: Parte 2
– Análise de dados com Interactive Filtering
Exportando queries usando o VS Code

Data News – Novembro / 2021

[Análise]   
Em um mundo que está, cada vez mais, deixando a pandemia no passado, temos notado a volta dos eventos presenciais, ainda que se valendo de regras sanitárias, porém este cenário já sinaliza uma perspectiva de melhoria para os próximos meses.

Com a recuperação das economias ao redor do mundo, devemos ver mais empresas adotando estratégias “figitais”, aproveitando as plataformas digitais que construíram nos últimos anos, para somar com a experiência da presença física.

Aproveite as novidades deste mês para trazer melhorias para seu ambiente, ajudando sua empresa a melhorar iniciativas internas ou a desenvolver novos projetos.

Boa leitura!

[Machine Learning & Data Engineering
– Lançado o Blog do Itaú Data no Medium
– Usando Faker para criar dados sintéticos
– Transformando ETL em ELT
– Uma análise do cenário de Self Service BI
– Monitorar ou Não Monitorar um Modelo: Eis a questão

[Amazon Web Services]  
Amazon libera diversos cursos (que antes eram pagos) de forma gratuita
– Como construir um Data Vault no Redshift
– Lançado o conector SQLAlchemy Redshift
Restringindo o acesso ao Quicksight com base no IP
– Fazendo performance benchmark com HammerDB
– Real time analytics com AWS TimeStream
– Utilizando Data Wrangler para preparação dos dados
Compartilhando os dashboards do CloudWatch usando Single Sign On

[Microsoft Azure]  
Quatro maneiras de integrar Inteligência Artifical com IoT
– Proteção de dados com Azure Confidential Computing
Templates de soluções disponibilizados para o Azure Synapse Analytics

[Google Cloud Platform]  
– Lançado o Prometheus as a service
Big Query table snapshots estão disponíveis
Big Query Omni permite Analytics cross-clouds

[Postgres]  
– Conheça o pg_dirtyread para ler registros já deletados
– Conheça o Odyssey, um Connection Pool com integração de LDAP
– Melhore o monitoramento com pg_metrics e pg_dash
– Implemente statements rollback usado o pg_statement_rollback

[MySQL]  
Webinar de laboratório prático de MySQL oferecido pela Oracle
Webinar sobre Disaster Recovery oferecido pela Oracle

[MongoDB]  
– Lançada uma REST API para interação com o MongoDB Atlas
Facet Operator aumenta em 100x a performance de consultas