Executive Summary #08: Tudo sobre Data Mesh

Executive Summary Banner

Esta é a Executive Summary, a nossa curadoria de conteúdo para executivos e líderes que são stakeholders em projetos de Data & AI.

Na edição deste mês temos apenas 1 tendência: Data Mesh. Recomendamos a leitura do artigo original da Thoughtworks, que cunhou este termo.

Abaixo, o nosso resumo executivo:

Tendência 01/01
Data Mesh

O que é?
Esta dica é baseada no artigo original da Thoughtworks, que você pode encontrar aqui. Trata-se de uma proposta para mudarmos a forma monolítica de construirmos arquiteturas de dados, que perdura desde os tempos do Data Warehouse.

Por que isto é interessante?
As estruturas de dados modernas (ex: Data Lake), possuem diversas tecnologias para ingestão, armazenamento e uso dos dados, porém a arquitetura em si é geralmente monolítica e tratada por um time centralizado de especialistas. Este tipo de arquitetura não funcionou para a Engenharia de Software no geral, que se modernizou e se especializou em micro-serviços (lado técnico) e squads que gerenciam estes serviços (lado organizacional). Por isso, para que possamos escalar nossas estruturas de dados, temos que aplicar os mesmos conceitos a elas.

Como posso colocar em prática?
Leia o artigo para maiores detalhes, porém de maneira objetiva: é necessário que cada Domínio cuide de seus próprios dados, tanto de maneira operacional (OLTP) quanto de maneira analítica (OLAP). Aqui cabe a filosofia da Amazon Web Services: cada serviço construído deve servir como um bloco, que poderá sustenar a criação de novos serviços a partir destes.


Executive Summary #07: Indústria 4.0

Executive Summary Banner

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 3 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/03
Indústria 4.0 é mais do que Fábrica 4.0

O que é?
Esta dica é baseada no artigo de mesmo nome do Silvio Meira, que você pode encontrar aqui. De maneira geral as empresas têm utilizado as novas tecnologias para digitalizar as fábricas “Mas o paradigma e o modelo mental de quase toda a indústria, [quase] até agora, ainda é definido pela linha de montagem móvel e a produção em massa, fenômeno secular, associado a Ford e “sua” linha de montagem de 1913 em Highland Park”.

Por que isto é interessante?
Segundo o autor há muito mais a explorar pois “Acontece que digitalização não muda fundamentos da criação, entrega e captura de valor; é apenas codificação de processos de suporte aos fundamentos, por um lado, e interfaces digitais de controle dos processos e uso de artefatos, por outro.”

Como posso colocar em prática?
Leia o artigo do Silvio Meira e implemente a verdadeira Transformação Digital da Indústria 4.0


Tendência 02/03
(In)Equidade de Gênero na Área de Dados

O que é?
Segundo a mais recente pesquisa State Of Data , apesar das mulheres serem 49% da população brasileira, elas são apenas 23,3% das profissionais em níveis de entrada na área de dados e apenas 13% nos níveis de gestão.

Por que isto é interessante?
Combater as diversas formas de preconceito presentes em nossa sociedade é algo muito importante para a qualidade de vida e produtividade das pessoas, o que possui impacto direto no faturamento das empresas.

Como posso colocar em prática?
Este é um tema muito grande para esta newsletter, mas começar a conhecer os dados da sua própria empresa pode ajudar a propor políticas para melhorar os indicadores definidos.


Tendência 03/03
Investimento privado em IA de 2021 é o dobro de 2020

O que é?
A mais recente pesquisa global AI Index Report traz um número muito interessante: o investimento privado em IA dobrou em 2021 (em relação a 2020), e também existe um número recorde de novas startups com soluções baseadas em IA.

Por que isto é interessante?
A concorrência é interessante para o mercado, pois torna as soluções mais acessíveis, além de permitir que players atuem em nichos específicos, podendo possuir soluções prontas para seus problemas e/ou oportunidades a serem exploradas.

Como posso colocar em prática?
Analisar o ecossistema de inovação de sua região pode trazer novos parceiros, que ajudaram você a atingir seus objetivos estratégicos.

Executive Summary [Fevereiro/2022]

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 2 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/02
Design Patterns em Big Data

O que é?
Existem milhares (talvez milhões) de fontes de dados. Existem centenas (talvez milhares) de tecnologias que processam dados. Portanto existem milhões de possibilidades na construção de pipelines de coleta e processamento de dados. Porém, as diversas opções são, na verdade, parte de um número menor e arquetípico de modos de processamento dos dados.

Por que isto é interessante?
Entender os tipos de padrões existentes para o processamento de dados, pode ajudar as equipes técnicas a criar soluções resilientes e com maior rapidez, trazendo maiores benefícios de negócio para a empresa.

Como posso colocar em prática?
Fique de olho em nosso site para novidades!

Tendência 02/02
Indexação de conteúdo de documentos escaneados

O que é?
É muito comum que as empresas possuam documentos escaneados, ou mesmo gerados digitalmente em PDF. Fazer a gestão do conhecimento contida nestes documentos é algo complexo.

Por que isto é interessante?
Criar processos que possam extrair e indexar o conteúdo destes documentos, disponibilizando-os ao alcance de uma ferramente de busca corporativa “a la Google”, permite que a empresa possa facilmente encontrar o conhecimento em seus documentos.

Como posso colocar em prática?
Utilizando arquiteturas de processamento de dados que possam:
– Extrair o texto do documento
– Identificar keywords importantes
– Indexar todo este conteúdo em uma ferramenta que busca

Executive Summary – Dezembro/2021

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 3 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/03
Produtos de Dados

O que são?
Entender a diferença entre projeto e produto pode ajudar a melhor gerenciar os produtos de dados que uma empresa possui.

Por que isto é interessante?
Para cultivar uma cultura data-driven corporativa.

Como posso colocar em prática?
O post do Itaú sobre o assunto em seu Medium é muito interessante.

Tendência 02/03
Seriam as plataformas de “Self Service BI” uma miragem?

O que é?
Embora pareça fornecer uma visão clara sobre seu significado, a expressão “Self Service BI” não é tão clara assim na prática. Poucas ferramentas (se é que existem), podem de fato ser “Self Service” para os key users corporativos que não são técnicos.

Por que isto é interessante?
A saída para este aparente paradoxo é que as equipes devem investir em possuir analistas de dados em seus times, afim de auxiliar o business a identificar e construir as métricas mais adequeadas.

Como posso colocar em prática?
Este artigo na KDNuggets traz uma dissertação (não exaustiva) sobre o tema.

Tendência 03/03
Data Drifting

O que é?
Um modelo de machine learning, ao ser treinado, está identificando um padrão nos dados apresentados. Ao ser colocado em produção, é comum que o padrão existente em treinamento comece a mudar, devido a própria natureza dos negócios, com isso o modelo perde sua eficácia.

Por que isto é interessante?
Criar bons modelos de machine learning e integrá-los de maneira efetiva em produtos ou processos é um trabalho desafiador. Mas o não monitoramento de Data Drifting ao colocar o modelo em produção pode resultar em perdas para o negócio.

Como posso colocar em prática?
O modelo precisa ser monitorado e, se necessário, retreinado. Neste aritgo, discultem-se diversos aspectos sobre o tema.

Executive Summary – Novembro/2021

Imagem de rua com placas da COP26

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que querem se informar sobre o que é relevante, que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 3 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/03
Plataformas No-Code/Low-Code

O que são?
Plataformas (geralmente online), que permitem a construção de apps (mobile ou web) ou workflows, usando nenhum (no-code) ou pouco (low-code) código.

Por que isto é interessante?
Permite a digitalização de processos sem que um grande investimento tenha que ser feito. Permite a criação de protótipos para validação de idéias, projetos e produtos.

Como posso colocar em prática?
Basta ter uma conta em uma destas plataformas. Aqui no Brasil temos a Pipefy (Disclaimer: post não comercial).

Tendência 02/03
AWS Q – Business Intelligence através de linguagem escrita

O que é?
A Amazon Web Services (AWS) possui uma ferramenta de dashboards chamada Quicksight. Esta suíte de dashboards agora possui uma ferramenta chamada Q (que vem da palavra “Questions”), que permite a criação automática de respostas através de perguntas (por exemplo: Qual produto vendeu mais em 2021 por Estado?).

Por que isto é interessante?
O Quicksight Q permite que qualquer pessoa (técnica ou não) faça perguntas, obtendo imediatamente as respostas que são fornecidas via gráficos ou métricas. Ou seja, não é necessário pedir para que alguém da equipe de BI gere um novo gráfico com um corte diferente dos dados, a ferramenta faz isso automaticamente.

Como posso colocar em prática?
Basta ler a documentação sobre como ativar a ferramenta, a modelagem inicial dos dados ainda precisa ser feita por um Analista de BI.

Tendência 03/03
Calculando sua pegada de carbono na Google Cloud

O que é?
A Google Cloud lançou uma ferramenta que calcula a pegada de carbono gerada pela sua empresa na Google Cloud (ou seja, através dos serviços que você utiliza na GCP).

Por que isto é interessante?
As pautas ESG têm avançado e a utilização de energia elétrica pelas ferramentas digitais (e, portanto, sob responsabilidade do CIO ou CDO) é uma fonte de gastos econômicos com impactos ambientais. Sua redução, e a correta mensuração disto, fará parte do accountability dos executivos em um futuro próximo.

Como posso colocar em prática?
“Aquilo que não é medido, não pode ser gerenciado”, já dizia Deming. A mensuração é um passo inicial, para que ações possam ser tomadas e seus resultados medidos.

Máquina de Dados Convida: LGPD com Lucas Neves

O programa Máquina de Dados Convida de Agosto, terá o Advogado Especialista em Direito Digital Lucas Neves, proprietário da LPN Digital, falando sobre Lei Geral de Proteção de Dados, a famosa LGPD.

Lucas Pereira Neves é Advogado Esp. em Direito Digital, Proteção de Dados (LGPD/GDPR) e Compliance. Encarregado (DPO) Certificado. Auditor interno ISO 27001 Certificado. Pós Graduando em Adv. Contratual e Resp. Civil. Palestrante e Professor nas áreas de Direito Digital e Proteção de Dados. Experiência de atuação jurídica com empresas de grande porte e multinacionais. Membro da International Association of Privacy Professionals – IAPP.

Assista, deixe um like e compartilhe:
https://www.youtube.com/watch?v=MtRmvkc7q-w

Trilha de Gestão

Acabamos de inaugurar trilhas (playlists) em nosso canal no YouTube!

As trilhas atuais são:
– Liderança
– Engenharia de Dados
– Análise e Ciência de Dados

São conteúdos com muita qualidade, disponibilizados pelo nosso braço educacional, a campdata!

Link para o canal:
https://www.youtube.com/channel/UCePbMP6CDVtRVkTon3USpRg

Painel sobre Gestão de Times de Dados

Amanhã, Quarta-feira (26/05), estaremos presentes no evento Data Driven Decision, para participar de um painel sobre Gestão de Times de Dados.

Seremos acompanhados pelo CTO da 1Brain, Jaime Brolesi, empresa que deu origem ao iFood.

Cadastre-se no site do evento: www.datadrivendecision.com.br

É online e gratuito, não perca!