Category Machine Learning

Update Sem Where #50

Logo da nossa newsletter, chamada Update sem Where

[Análise]   
Não é surpresa para ninguém que o mercado de tecnologia possui falta de mão de obra qualificada. E não é apenas no Brasil!

A crescente digitalização das empresas (em parte impulsionada pela pandemia) e a grande tendência de permitir o trabalho remoto (também em grande parte impulsionada pela pandemia), fez com que a competição por talentos, antes baseada na localização, se torna-se uma luta global e desigual por talentos.

Global pois remota e desigual pois, com o real desvalorizado frente a outras moedas, fica muito fácil para empresas extrangeiras conseguirem atrair candidatos com salários exorbitantes, se convertidos para o Real, mas que na moeda de origem, podem representar menos do que se pagaria a um profissional morando naquele país. Ganha-ganha para quem contrata e para quem é contratado.

No Brasil temos como defesa, e aqui com um tom de ironia, o fato de que cerca de 95% da população não fala inglês, que é a língua utilizada pelas empresas que contratam remotamente, mesmo que não sendo Norte-Americanas ou Inglesas. Sabe quando na entrevista de emprego te perguntam um defeito e você pensa em responder um defeito que seja uma qualidade (alô “perfeccionismo”)? Então, é mais ou menos por aí.

Porém, internamente, temos nossa própria batalha de talentos. Por isso, cada vez mais as empresas investem em cursos de formação, já visando contratar os com melhor desempenho.

Só neste mês temos mais de 5 mil vagas para cursos, vindas de empresas como Microsoft, Itaú e ciandt.

Não fique de fora. O mercado de tecnologia está aquecido e, se você planeja trocar de área para entrar na tecnologia, o momento é agora.

“Ah, mas tecnologia não é só para geeks?”, pode perguntar uma pessoa qualquer. Não, não é. Assim como a Medicina, a área de Tecnologia possui diversas especializações, indo de Vendas até Fabricação de Hardware, passando por Codificação, Gestão de Projetos, etc.

Não é um mercado fácil, pois você tem que estar sempre se atualizando. Mas, nada que vale a pena na vida é fácil. E é melhor enfrentar desafios estando empregado e, possivelmente, sendo bem pago, do que o contrário.

Boa leitura e boa sorte!

[Data Engineering & Machine Learning
Tag-based access control for modern data architectures
– Construa uma Arquitetura Data Mesh com AWS Lake Formation e Glue
– Release do Airflow 2.3.0
PyCaret 3.0 lançado!
MLOps em 10 minutos
– Microsoft oferece 5 mil vagas gratuitas em capacitação
– ciandt abre vagas para curso gratuito de capacitação
– Itaú oferece vagas gratuitas para curso de capacitação
Operacionalizando Machine Learning em 10 passos
PyDon’ts: Ebook com melhores práticas para codificação em Python

[Amazon Web Services]  
– Agora é possível criar Jobs Visuais no AWS Glue Studio
AWS Glue Interactive Sessions permite o uso de notebooks no Glue
– AWS Athena adiciona conectores aos principais concorrentes
– Redshift agora possui integração com Microsoft Azure AD e PowerBI
– AWS MSK lançado, tornando o Kafka As A Service disponível

[Microsoft Azure]  
– Utilize a Plataforma Power para construir soluções Low Code
– Lançado o Azure Health Data Services
– Microsoft libera a Feature Store do Linkedin

[Google Cloud Platform]  
– Lançada a nova plataforma AlloyDb
– Links para as diversas sessions workshops gravadas no Google I/O
– Resumo de algumas novidades anunciadas no Google I/O
– Utilização de Machine Learning para melhorar o trabalho remoto
– Lançado o Big Query BI Engine!
– GCP lança o whitepaper The Future of Data
– Participe do Google Cloud Applied ML Summit
– Google lança o Cost Esmimator chamado GKE

[Databases]  
Postgres: Parquet e Postgres em um Data Lake
Postgres: Monitoramento de query com pg_stat_statements
Postgres: Entenda sua carga com pg_stat_monitor
Postgres: Um guia para migrações com zero downtime
Postgres: Analisando o IO do Postgres
Postgres: Fazendo tuning do auto-vacuum

Update Sem Where [Fevereiro/2022]

[Análise]   
E iniciamos o nosso ano com um bom ritmo de novidades!

Justificando seu marketshare, a AWS é a cloud com mais novidades neste início de ano, onde vemos um foco maior em soluções e arquiteturas que geram valor para os clientes.

Tendência esta também vista em seus competidores: um foco maior em soluções que geram valor e menor em “tecnologia pela tecnologia”.

Também temos um interessante novo competidor dentro do nem-sempre-tão-comentado ramo dos bancos de dados NewSQL, que são os bancos de dados relacionais e escaláveis, que procuram unir os mundos SQL e NoSQL. Veja a documentação do Yuga, que chega para brigar com competidores como Google Cloud Spanner e Cockroach DB.

Boa leitura!

[Big Data & Machine Learning
Yuga: um banco de dados escalável e resiliente
– Explicação sobre o algoritmo de Árvore de Decisão
Sete passos para aprender Machine Learning
– Um guia para a escolha de qual modelo de Machine Learning utilizar
– Uma comparação entre PyTorch e TensorFlow
Design Patterns em MLOps

[Amazon Web Services]  
– Modelos de Detecção de Fraude da Amazon em Python
– Arquitetura para extração e indexação de conteúdo de documentos
– Como monetizar suas APIs baseadas em dados
– Analisando os benefícios do AQUA para a performance do Redshift
– Embedando o Quicksight Q em suas soluções
Detecção de anomalias com o Opensearch

[Microsoft Azure]  
– Monitoramento avançado com Azure Monitor
– Integração de Logs com Logz.io

[Google Cloud Platform]  
– Criando modelos de Machine Learning para a área de Seguros
Análise Exploratória de Dados na GCP com Netapp
– Perpectivas de CyberSecurity na CISO 2022

[Databases]  
Flyway: Lidando com migrações que falharam
Flyway: Devops 101 com Flyway
Flyway: Customizando deploys de bancos de dados
Postgres: FDW para arquivos Parquet no S3
Postgres: pg_query_rewrite permite reescrever queries executadas
Postgres: PgSpider permite o uso do Postgres como um Presto
Postgres: Nova versão do PgPool lançada
MySQL: Point in time Recovery
MySQL: Configurando Disaster Recovery
MySQL: Dump & Load
MongoDB: Conector para o Apache Kafka lançado
MongoDB: 10 sinais de que sua arquitetura de dados está limitando sua inovação

Executive Summary [Janeiro/22]

awesome science trick versus engineering workaround on how to balance two forks on top of a glass

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 2 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/02
Machine Learning Engineering (versus Data Science)

O que é?
Criar modelos matemáticos que encontram padrões nos dados e, com isso, conseguem realizar predições, é o trabalho principal do Data Scientist. A nova tendência é que estes profissionais passem a disponibilizar (via empresas ou diretamente), modelos prontos para o uso em plataformas de Cloud (GCP, AWS, Azure, etc) ou mesmo via um marketplace específico.

Por que isto é interessante?
Com o crescimento desta tendência, as empresas não precisarão mais ter um Data Scientist em suas equipes. Porém, os modelos disponibilizados ainda não são abstratos o suficientes para serem usados por Analistas de Negócio ou Programadores em geral. Por isso a necessidade de Machine Learning Engineer, que é um profissional formado basicamente em Engenharia de Dados, mas com conhecimentos em Data Science. O foco deste profissional será construir a soluções que utilizem os modelos de predição através da construção e monitoramento de Pipelines de Dados.

Como posso colocar em prática?
As principais nuvens já disponibilizam modelos pré-treinados para determinados problemas, alguns inclusive com soluções do tipo “drag-and-drop” (arraste e solte), sem precisar programar. Com isto, sua empresa pode fazer uso de modelos preditivos sem precisar criar uma equipe de Ciência de Dados.

Tendência 02/02
Migração para Nuvem AS-IS: Não faça isso

O que é?
Migrar arquiteturas de dados on premise para a nuvem pode ser uma verdadeida dor de cabeça. Afinal, a quantidade de dados envolvidos pode ser grande, a janela de manutenção pequena e o espaço para erro é inexistente. Por isso, para facilitar, muitas empresas migram as estruturas on prem para a nuvem “as is”, ou seja, mantendo a mesma arquitetura.

Por que isto é interessante?
Migrar para a nuvem não é apenas uma questão de não precisar gerenciar um datacenter. Pode ser muito mais: uso sob demanda, elasticidade sob demanda, separação de storage e processamento, utilização de diferentes serviços sob demanda, etc. Toda esta cartilha de opções está à sua disposição ao migrar para a nuvem, por isto é um bom momento para rever a arquitetura da sua solução para que você possa economizar/explorar/diversificar sua solução com ferramentas que antes não dispunha.

Como posso colocar em prática?
A AWS oferece o “AWS Well Architected Framework” com diversas ideias de arquiteturas para soluções comuns no mundo dos negócios.

Podcast Driven By Data #001

É com muito orgulho que estamos lançando o nosso podcast, chamado Driven By Data!!!

Este podcast será em formato de “drops” (curtos e informativos), trazendo tendências, novidades ou qualquer assunto relevante no mundo de Data: Big Data, Analytics, Machine Learning, BI, etc.

O episódio piloto já está em nosso canal do YouTube:
https://www.youtube.com/watch?v=uw4AzMyob4g&t=17s

Gostou? Então assine o canal e deixe seu like!

campdata convida SiDi:Implementação de pipelines de machine learning em mobile

Captura de tela do site da campdata

A Máquina de Dados, através do programa Campdata Convida, orgulhosamente recebe um dos maiores institutos de tecnologia do Brasil, nossos conterrâneos do SiDi, que nasceram através da Samsung!

O SiDi é um dos maiores institutos de ciência e tecnologia do Brasil e, com um time de SiDiers que não para de crescer, já estão em Campinas e Recife, os maiores parques tecnológicos e de inovações do Brasil. Em quase 20 anos de história, eles se especializaram em solucionar problemas e trazem na bagagem mais de 1.000 projetos que impactam a vida de milhões de pessoas, levando inovação e fazendo o futuro acontecer agora.

Neste webinar receberemos Cesar Christian Castelo Fernandez, Otavio Henrique Barbosa Torres e Weld Lucas Cunha para falarem sobre Implementação de pipelines de machine learning em plataformas mobile.

Veja este e outros vídeos em nosso canal do YouTube:
https://www.youtube.com/watch?v=GgckPsjwsHg


Produtos de Dados

Você sabe o que são produtos de dados?

Aprenda com nosso conteúdo!

Neste vídeo, você poderá assistir à gravação do nosso meetup sobre Gestão de Produtos de Dados, com a resposta para a nossa pergunta e também com muitas outras informações!

neste link, você pode baixar a nossa apresentação, onde você poderá estudar o assunto com mais detalhes, lendo os artigos referenciados durante a apresentação.

Bons estudos!

Data Lake e Arquitetura Lambda

Armazenar, catalogar e processar grandes quantidades de dados exigem novas ferramentas e novos processos.

Nesta apresentação, mostraremos o conceito (e a prática) de como realizar estas ações de maneira moderna, modular e escalável, utilizando um Data Lake e a Arquitetura Lambda.

Palestra realizada no:
-GDG Datafest (Campinas-SP) 2019

Link: https://www.youtube.com/watch?v=vt6_8cWpdaE&t=72s

Arquitetura Serverless para Machine Learning

Construir um modelo de Machine Learning é um desafio. Porém, apenas a existência de um modelo, não é o suficiente para criar um produto de dados.

Este modelo precisa ser alocado dentro de uma Arquitetura que conterá um Data Pipeline (responsável por obter e transformar os dados) que por sua vez irá entregar os dados transformados para o modelo de Machine Learning.

Este Data Pipeline envolve uma arquitetura razoavelmente complexa, com diversas tecnologias.

Nesta palestra, focamos em como construir um arquitetura de Data Pipeline na Nuvem, analisando opções concorrentes, com os prós e contras de cada ferramenta presente na Arquitetura.

Link: https://www.youtube.com/watch?v=duOHXhRE9vs