Update Sem Where #53

Logo da nossa newsletter, chamada Update sem Where

[Briefing]   
Você está lendo a Update Sem Where, nossa newsletter técnica, lançada mensalmente e que contém as principais novidades dos últimos 30 dias no mundo de Data & AI.

Fique agora com a Update Sem Where!

[Principais Trends
– Dicas para tornar seu projeto de Machine Learning um sucesso (link)
– O que usar: um modelo genérico ou vários especializados? (link)
– Como escalar Pandas para grandes datasets (link)
– Crie pipelines utilizando Apache Datafusion (link)
– Utilizando YOLO para detectar objetos em imagens (link)
– O lado negativo dos veículos elétricos (link)
– Mais de 100 vagas na F1rst, do Santander (link)
– Escalando a Eficiência: Visões sobre a DORA 2022 (link)
– Ebook gratuito: Scientific Programming with Python (link)


Update Sem Where #52

Logo da nossa newsletter, chamada Update sem Where

[Briefing]   
Você está lendo a Update Sem Where, nossa newsletter técnica, lançada mensalmente e que contém as principais novidades dos últimos 30 dias no mundo de Data & AI.

Além deste conteúdo, temos também uma newsletter para líderes chamada Executive Summary e o nosso podcast Driven By Data.

Fiquem agora com a Update Sem Where!

[Empreendedorismo & Liderança
– Multitarefa: o jeito mais eficiente de perder dinheiro
– Sobre o mito de que apenas Fundadores Jovens criam grandes empresas
Ferramentas modernas de planejamento aumentam a agilidade
Empresas Filhas da Unicamp faturam quase R$ 20 Bilhões
– Unicamp se destaca em ranking mundial THE
– Artigo do Silvio Meira: Efeitos de Rede
– Ebook do Silvio Meira: Estratégias para um Brasil Figital
Protopia Brasileira: Um estudo sobre a violência política na história brasileira

[Data Engineering & Machine Learning
– Novo site do Recod.AI da Unicamp no ar
– Lançado o Curso de Product Analytics da PM3
– Análise da biblioteca Meta Prophet
– A evolução do Data Engineer
– dbt agora aceita Python
– Como fazer Análise Exploratória para Time Series
– Um whitepaper sobre Modern Data Architectures na AWS

[Amazon Web Services]  
– AWS Athena atualiza engine e adiciona mais de 50 funções SQL
– Sagemaker Multi-Model Endpoint agora suporta GPU
– Sagemaker Auto Model Training agora também possui Grid Search
– Lançado o AWS Neptune: Banco de dados de Grafo e Serverless
Sagemaker Clarify oferece explicabilidade aos resultados de predição

[Microsoft Azure]  
– Lançado o Vision Studio, para desenvolvimento de Computer Vision
AiDice: Ferramenta para detecção de anomalias

[Google Cloud Platform]  
– Veja o que de melhor aconteceu no Google Next 22
– Deep dive no Otimizador de Queries do Spanner
– Clod Dataflow libera ferramenta para benchmark dos seus pipelines
– Fazendo Log Analytics na GCP

[Databases]  
Postgres: Lançado o Postgres 15 com várias novidades (incluindo MERGE)

Update Sem Where #51

Logo da nossa newsletter, chamada Update sem Where

[Briefing]   
Você está lendo a Update Sem Where, nossa newsletter técnica, lançada mensalmente e que contém as principais novidades dos últimos 30 dias no mundo de Data & AI.

Além deste conteúdo, temos também uma newsletter para líderes chamada Executive Summary e o nosso podcast Driven By Data.

Fiquem agora com a Update Sem Where!

[Análise]   
Continuamos a acreditar na educação como ferramenta para a evolução pessoal e profissional (mais sobre este assunto na newsletter anterior).

Com isso, não nos parece coincidência que agora é a vez da AWS oferecer um pacote de subscription para sua plataforma de Digital Training, a AWS Skill Builder (mais sobre os planos aqui).

Reforçamos nossa análise de que, se você deseja entrar para a área de tecnologia, a hora é agora!

Em termos de novidades, a estrela do mês é a sessão de Bancos de Dados, com muitas novidades legais no mundo Postgres!

Boa leitura!

[Data Engineering & Machine Learning
Pirâmide da qualidade de dados
– Como interagem Data Engineers e Data Scientists em um time de alta performance
– As 5 coisas mais difíceis de se fazer em SQL
– Todos os algoritmos de Machine Learning explicados em menos de 1 minutos cada
– Como fazer detecção de movimento em Python
Processamento paralelo de arquivos grandes em Python
– Desmistificando o arquivo Parquet
– Como fazer melhores testes de hipótese
Personas dos usuários das plataformas de dados
Métricas para incerteza em regressões

[Amazon Web Services]  
– Novos planos de assinatura do Skill Builder, a plataforma de treinamentos
– Lançado o Neptune Global Graph Database
– Disponibilizada a Detecção de Anomalia no Devops Guru
– Disponibilizados mais tiers de preço no Lambda

[Microsoft Azure]  
– Azure é declara a nuvem líder pela Gartner
– Análise de Mercado com o Microsoft Threat Intelligence Solutions
– Governança de Dados com o Microsoft Purview
– Lançado o Azure Managed Grafana

[Google Cloud Platform]  
– Nivele suas data skills
Segurança na nuvem para CISOs
– Gerenciando a nuvem com Active Assist

[Databases]  
Postgres: pg_jsonschema faz validação de json
Postgres: Benchmark entre AlloyDB (Pg na Google) e Postgres
Postgres: Particionamento com pg_partman
Postgres: Melhorias nas Functions no PG14
Postgres: Analisador automático de sugestão índices
Postgres: Resultados da pesquisa STATE OF POSTGRES
Postgres: Debugging de problemas com autovacuum
Postgres: dbGate, novo GUI para bancos de dados
Postgres: Bancos de dados de séries temporais, o que são?
Postgres: PAGILA, um banco de dados de exemplo para Postgres

Executive Summary #08: Tudo sobre Data Mesh

Executive Summary Banner

Esta é a Executive Summary, a nossa curadoria de conteúdo para executivos e líderes que são stakeholders em projetos de Data & AI.

Na edição deste mês temos apenas 1 tendência: Data Mesh. Recomendamos a leitura do artigo original da Thoughtworks, que cunhou este termo.

Abaixo, o nosso resumo executivo:

Tendência 01/01
Data Mesh

O que é?
Esta dica é baseada no artigo original da Thoughtworks, que você pode encontrar aqui. Trata-se de uma proposta para mudarmos a forma monolítica de construirmos arquiteturas de dados, que perdura desde os tempos do Data Warehouse.

Por que isto é interessante?
As estruturas de dados modernas (ex: Data Lake), possuem diversas tecnologias para ingestão, armazenamento e uso dos dados, porém a arquitetura em si é geralmente monolítica e tratada por um time centralizado de especialistas. Este tipo de arquitetura não funcionou para a Engenharia de Software no geral, que se modernizou e se especializou em micro-serviços (lado técnico) e squads que gerenciam estes serviços (lado organizacional). Por isso, para que possamos escalar nossas estruturas de dados, temos que aplicar os mesmos conceitos a elas.

Como posso colocar em prática?
Leia o artigo para maiores detalhes, porém de maneira objetiva: é necessário que cada Domínio cuide de seus próprios dados, tanto de maneira operacional (OLTP) quanto de maneira analítica (OLAP). Aqui cabe a filosofia da Amazon Web Services: cada serviço construído deve servir como um bloco, que poderá sustenar a criação de novos serviços a partir destes.


Update Sem Where #50

Logo da nossa newsletter, chamada Update sem Where

[Análise]   
Não é surpresa para ninguém que o mercado de tecnologia possui falta de mão de obra qualificada. E não é apenas no Brasil!

A crescente digitalização das empresas (em parte impulsionada pela pandemia) e a grande tendência de permitir o trabalho remoto (também em grande parte impulsionada pela pandemia), fez com que a competição por talentos, antes baseada na localização, se torna-se uma luta global e desigual por talentos.

Global pois remota e desigual pois, com o real desvalorizado frente a outras moedas, fica muito fácil para empresas extrangeiras conseguirem atrair candidatos com salários exorbitantes, se convertidos para o Real, mas que na moeda de origem, podem representar menos do que se pagaria a um profissional morando naquele país. Ganha-ganha para quem contrata e para quem é contratado.

No Brasil temos como defesa, e aqui com um tom de ironia, o fato de que cerca de 95% da população não fala inglês, que é a língua utilizada pelas empresas que contratam remotamente, mesmo que não sendo Norte-Americanas ou Inglesas. Sabe quando na entrevista de emprego te perguntam um defeito e você pensa em responder um defeito que seja uma qualidade (alô “perfeccionismo”)? Então, é mais ou menos por aí.

Porém, internamente, temos nossa própria batalha de talentos. Por isso, cada vez mais as empresas investem em cursos de formação, já visando contratar os com melhor desempenho.

Só neste mês temos mais de 5 mil vagas para cursos, vindas de empresas como Microsoft, Itaú e ciandt.

Não fique de fora. O mercado de tecnologia está aquecido e, se você planeja trocar de área para entrar na tecnologia, o momento é agora.

“Ah, mas tecnologia não é só para geeks?”, pode perguntar uma pessoa qualquer. Não, não é. Assim como a Medicina, a área de Tecnologia possui diversas especializações, indo de Vendas até Fabricação de Hardware, passando por Codificação, Gestão de Projetos, etc.

Não é um mercado fácil, pois você tem que estar sempre se atualizando. Mas, nada que vale a pena na vida é fácil. E é melhor enfrentar desafios estando empregado e, possivelmente, sendo bem pago, do que o contrário.

Boa leitura e boa sorte!

[Data Engineering & Machine Learning
Tag-based access control for modern data architectures
– Construa uma Arquitetura Data Mesh com AWS Lake Formation e Glue
– Release do Airflow 2.3.0
PyCaret 3.0 lançado!
MLOps em 10 minutos
– Microsoft oferece 5 mil vagas gratuitas em capacitação
– ciandt abre vagas para curso gratuito de capacitação
– Itaú oferece vagas gratuitas para curso de capacitação
Operacionalizando Machine Learning em 10 passos
PyDon’ts: Ebook com melhores práticas para codificação em Python

[Amazon Web Services]  
– Agora é possível criar Jobs Visuais no AWS Glue Studio
AWS Glue Interactive Sessions permite o uso de notebooks no Glue
– AWS Athena adiciona conectores aos principais concorrentes
– Redshift agora possui integração com Microsoft Azure AD e PowerBI
– AWS MSK lançado, tornando o Kafka As A Service disponível

[Microsoft Azure]  
– Utilize a Plataforma Power para construir soluções Low Code
– Lançado o Azure Health Data Services
– Microsoft libera a Feature Store do Linkedin

[Google Cloud Platform]  
– Lançada a nova plataforma AlloyDb
– Links para as diversas sessions workshops gravadas no Google I/O
– Resumo de algumas novidades anunciadas no Google I/O
– Utilização de Machine Learning para melhorar o trabalho remoto
– Lançado o Big Query BI Engine!
– GCP lança o whitepaper The Future of Data
– Participe do Google Cloud Applied ML Summit
– Google lança o Cost Esmimator chamado GKE

[Databases]  
Postgres: Parquet e Postgres em um Data Lake
Postgres: Monitoramento de query com pg_stat_statements
Postgres: Entenda sua carga com pg_stat_monitor
Postgres: Um guia para migrações com zero downtime
Postgres: Analisando o IO do Postgres
Postgres: Fazendo tuning do auto-vacuum

Executive Summary #07: Indústria 4.0

Executive Summary Banner

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 3 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/03
Indústria 4.0 é mais do que Fábrica 4.0

O que é?
Esta dica é baseada no artigo de mesmo nome do Silvio Meira, que você pode encontrar aqui. De maneira geral as empresas têm utilizado as novas tecnologias para digitalizar as fábricas “Mas o paradigma e o modelo mental de quase toda a indústria, [quase] até agora, ainda é definido pela linha de montagem móvel e a produção em massa, fenômeno secular, associado a Ford e “sua” linha de montagem de 1913 em Highland Park”.

Por que isto é interessante?
Segundo o autor há muito mais a explorar pois “Acontece que digitalização não muda fundamentos da criação, entrega e captura de valor; é apenas codificação de processos de suporte aos fundamentos, por um lado, e interfaces digitais de controle dos processos e uso de artefatos, por outro.”

Como posso colocar em prática?
Leia o artigo do Silvio Meira e implemente a verdadeira Transformação Digital da Indústria 4.0


Tendência 02/03
(In)Equidade de Gênero na Área de Dados

O que é?
Segundo a mais recente pesquisa State Of Data , apesar das mulheres serem 49% da população brasileira, elas são apenas 23,3% das profissionais em níveis de entrada na área de dados e apenas 13% nos níveis de gestão.

Por que isto é interessante?
Combater as diversas formas de preconceito presentes em nossa sociedade é algo muito importante para a qualidade de vida e produtividade das pessoas, o que possui impacto direto no faturamento das empresas.

Como posso colocar em prática?
Este é um tema muito grande para esta newsletter, mas começar a conhecer os dados da sua própria empresa pode ajudar a propor políticas para melhorar os indicadores definidos.


Tendência 03/03
Investimento privado em IA de 2021 é o dobro de 2020

O que é?
A mais recente pesquisa global AI Index Report traz um número muito interessante: o investimento privado em IA dobrou em 2021 (em relação a 2020), e também existe um número recorde de novas startups com soluções baseadas em IA.

Por que isto é interessante?
A concorrência é interessante para o mercado, pois torna as soluções mais acessíveis, além de permitir que players atuem em nichos específicos, podendo possuir soluções prontas para seus problemas e/ou oportunidades a serem exploradas.

Como posso colocar em prática?
Analisar o ecossistema de inovação de sua região pode trazer novos parceiros, que ajudaram você a atingir seus objetivos estratégicos.

Update Sem Where [Março/2022]

Logo da nossa newsletter, chamada Update sem Where

[Análise]   
O mercado de Data possui importantes relatórios lançados ao longo do ano.

Neste mês, tivemos o lançamento de dois deles: Artificial Intelligence Index Report (escopo global) e o State of Data (escopo Brasil). Aproveite e se atualize sobre o estado do mercado!

O ritmo de novidades tecnológicas diminuiu um pouco, com as empresas guardando o seu melhor para os diversos eventos ao longo do ano, ótimo momento para reler as últimas newsletters e implementar as mudanças que ficaram no backlog.

Boa leitura!

[Big Data & Machine Learning
From zero to hero: Uma jornada de Data Analyst a Engenheiro Sênior
– Lançado o relatório Artificial Intelligence Index Report 2022
Indústria 4.0 é muito mais do que Fábrica 4.0
State of Data Brasil lançado
– Usando AutoEncoders em Redes Neurais Não Supervisionadas
– Descobrindo Partículas de Informação com a Teoria de Shannon
– O que Data Scientists podem aprender com Economistas
– Características de Séries Temporais
KPIs que todo Time de Dados deveria ter

[Amazon Web Services]  
– Lançado o novo AWS QuickSight Community
AWS Lambda agora suporta 10GB de storage efêmero
– PostgreSQL RDS agora suporte FDW para MySQL
– RDS MySQL & PostgreSQL MultiAZ Deployment

[Microsoft Azure]  
– Lançado o Azure Health Data Services para execução de algoritmos de IA
– Microsoft Azure nomeada como Líder no Quadrante da The Forrester
– Introduzindo o Azure Synapse para o Dataverso
– Novidades na PaaS Azure Stream Analytics

[Google Cloud Platform]  
Federated Learning na GCP
– Uso de NLP na Google Cloud para geração de insights
– Criado repositório de análise de log, com foco em Dados e Segurança
Economizando com Cloud Spanner
– Pipeline de dados do SAP para BigQuery com Cloud Cortex

[Databases]  
Flyway: Versionamento de objetos e criação de scripts
Postgres: Usando plprofiler para testar performance do banco de dados
Postgres: Fazendo tuning de max_wal_size
Postgres: Realizando sharding do banco de dados
Postgres: Automatizando testes no banco de dados com pgTAP
Postgres: Análise de uso de JSON em Postgres

Executive Summary [Fevereiro/2022]

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 2 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/02
Design Patterns em Big Data

O que é?
Existem milhares (talvez milhões) de fontes de dados. Existem centenas (talvez milhares) de tecnologias que processam dados. Portanto existem milhões de possibilidades na construção de pipelines de coleta e processamento de dados. Porém, as diversas opções são, na verdade, parte de um número menor e arquetípico de modos de processamento dos dados.

Por que isto é interessante?
Entender os tipos de padrões existentes para o processamento de dados, pode ajudar as equipes técnicas a criar soluções resilientes e com maior rapidez, trazendo maiores benefícios de negócio para a empresa.

Como posso colocar em prática?
Fique de olho em nosso site para novidades!

Tendência 02/02
Indexação de conteúdo de documentos escaneados

O que é?
É muito comum que as empresas possuam documentos escaneados, ou mesmo gerados digitalmente em PDF. Fazer a gestão do conhecimento contida nestes documentos é algo complexo.

Por que isto é interessante?
Criar processos que possam extrair e indexar o conteúdo destes documentos, disponibilizando-os ao alcance de uma ferramente de busca corporativa “a la Google”, permite que a empresa possa facilmente encontrar o conhecimento em seus documentos.

Como posso colocar em prática?
Utilizando arquiteturas de processamento de dados que possam:
– Extrair o texto do documento
– Identificar keywords importantes
– Indexar todo este conteúdo em uma ferramenta que busca