Blog - Page 6 of 9 - Máquina de Dados

Update Sem Where #50

[Análise]
Não é surpresa para ninguém que o mercado de tecnologia possui falta de mão de obra qualificada. E não é apenas no Brasil!

A crescente digitalização das empresas (em parte impulsionada pela pandemia) e a grande tendência de permitir o trabalho remoto (também em grande parte impulsionada pela pandemia), fez com que a competição por talentos, antes baseada na localização, se torna-se uma luta global e desigual por talentos.

Global pois remota e desigual pois, com o real desvalorizado frente a outras moedas, fica muito fácil para empresas extrangeiras conseguirem atrair candidatos com salários exorbitantes, se convertidos para o Real, mas que na moeda de origem, podem representar menos do que se pagaria a um profissional morando naquele país. Ganha-ganha para quem contrata e para quem é contratado.

No Brasil temos como defesa, e aqui com um tom de ironia, o fato de que cerca de 95% da população não fala inglês, que é a língua utilizada pelas empresas que contratam remotamente, mesmo que não sendo Norte-Americanas ou Inglesas. Sabe quando na entrevista de emprego te perguntam um defeito e você pensa em responder um defeito que seja uma qualidade (alô “perfeccionismo”)? Então, é mais ou menos por aí.

Porém, internamente, temos nossa própria batalha de talentos. Por isso, cada vez mais as empresas investem em cursos de formação, já visando contratar os com melhor desempenho.

Só neste mês temos mais de 5 mil vagas para cursos, vindas de empresas como Microsoft, Itaú e ciandt.

Não fique de fora. O mercado de tecnologia está aquecido e, se você planeja trocar de área para entrar na tecnologia, o momento é agora.

“Ah, mas tecnologia não é só para geeks?”, pode perguntar uma pessoa qualquer. Não, não é. Assim como a Medicina, a área de Tecnologia possui diversas especializações, indo de Vendas até Fabricação de Hardware, passando por Codificação, Gestão de Projetos, etc.

Não é um mercado fácil, pois você tem que estar sempre se atualizando. Mas, nada que vale a pena na vida é fácil. E é melhor enfrentar desafios estando empregado e, possivelmente, sendo bem pago, do que o contrário.

Boa leitura e boa sorte!

[Data Engineering & Machine Learning]
– Tag-based access control for modern data architectures
– Construa uma Arquitetura Data Mesh com AWS Lake Formation e Glue
– Release do Airflow 2.3.0
– PyCaret 3.0 lançado!
– MLOps em 10 minutos
– Microsoft oferece 5 mil vagas gratuitas em capacitação
– ciandt abre vagas para curso gratuito de capacitação
– Itaú oferece vagas gratuitas para curso de capacitação
– Operacionalizando Machine Learning em 10 passos
– PyDon’ts: Ebook com melhores práticas para codificação em Python

[Amazon Web Services]
– Agora é possível criar Jobs Visuais no AWS Glue Studio
– AWS Glue Interactive Sessions permite o uso de notebooks no Glue
– AWS Athena adiciona conectores aos principais concorrentes
– Redshift agora possui integração com Microsoft Azure AD e PowerBI
– AWS MSK lançado, tornando o Kafka As A Service disponível

[Microsoft Azure]
– Utilize a Plataforma Power para construir soluções Low Code
– Lançado o Azure Health Data Services
– Microsoft libera a Feature Store do Linkedin

[Google Cloud Platform]
– Lançada a nova plataforma AlloyDb
– Links para as diversas sessions workshops gravadas no Google I/O
– Resumo de algumas novidades anunciadas no Google I/O
– Utilização de Machine Learning para melhorar o trabalho remoto
– Lançado o Big Query BI Engine!
– GCP lança o whitepaper The Future of Data
– Participe do Google Cloud Applied ML Summit
– Google lança o Cost Esmimator chamado GKE

[Databases]
– Postgres: Parquet e Postgres em um Data Lake
– Postgres: Monitoramento de query com pg_stat_statements
– Postgres: Entenda sua carga com pg_stat_monitor
– Postgres: Um guia para migrações com zero downtime
– Postgres: Analisando o IO do Postgres
– Postgres: Fazendo tuning do auto-vacuum

Driven by Data #04: KPIs que Todo Time de Dados deveria usar

Neste episódio elencamos alguns dos KPIs mínimos que TODO time de dados deveria usar para melhorar a governança do seu ambiente.

Executive Summary #07: Indústria 4.0

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 3 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/03
Indústria 4.0 é mais do que Fábrica 4.0

O que é?
Esta dica é baseada no artigo de mesmo nome do Silvio Meira, que você pode encontrar aqui. De maneira geral as empresas têm utilizado as novas tecnologias para digitalizar as fábricas “Mas o paradigma e o modelo mental de quase toda a indústria, [quase] até agora, ainda é definido pela linha de montagem móvel e a produção em massa, fenômeno secular, associado a Ford e “sua” linha de montagem de 1913 em Highland Park”.

Por que isto é interessante?
Segundo o autor há muito mais a explorar pois “Acontece que digitalização não muda fundamentos da criação, entrega e captura de valor; é apenas codificação de processos de suporte aos fundamentos, por um lado, e interfaces digitais de controle dos processos e uso de artefatos, por outro.”

Como posso colocar em prática?
Leia o artigo do Silvio Meira e implemente a verdadeira Transformação Digital da Indústria 4.0

Tendência 02/03
(In)Equidade de Gênero na Área de Dados

O que é?
Segundo a mais recente pesquisa State Of Data , apesar das mulheres serem 49% da população brasileira, elas são apenas 23,3% das profissionais em níveis de entrada na área de dados e apenas 13% nos níveis de gestão.

Por que isto é interessante?
Combater as diversas formas de preconceito presentes em nossa sociedade é algo muito importante para a qualidade de vida e produtividade das pessoas, o que possui impacto direto no faturamento das empresas.

Como posso colocar em prática?
Este é um tema muito grande para esta newsletter, mas começar a conhecer os dados da sua própria empresa pode ajudar a propor políticas para melhorar os indicadores definidos.

Tendência 03/03
Investimento privado em IA de 2021 é o dobro de 2020

O que é?
A mais recente pesquisa global AI Index Report traz um número muito interessante: o investimento privado em IA dobrou em 2021 (em relação a 2020), e também existe um número recorde de novas startups com soluções baseadas em IA.

Por que isto é interessante?
A concorrência é interessante para o mercado, pois torna as soluções mais acessíveis, além de permitir que players atuem em nichos específicos, podendo possuir soluções prontas para seus problemas e/ou oportunidades a serem exploradas.

Como posso colocar em prática?
Analisar o ecossistema de inovação de sua região pode trazer novos parceiros, que ajudaram você a atingir seus objetivos estratégicos.

Update Sem Where [Março/2022]

[Análise]
O mercado de Data possui importantes relatórios lançados ao longo do ano.

Neste mês, tivemos o lançamento de dois deles: Artificial Intelligence Index Report (escopo global) e o State of Data (escopo Brasil). Aproveite e se atualize sobre o estado do mercado!

O ritmo de novidades tecnológicas diminuiu um pouco, com as empresas guardando o seu melhor para os diversos eventos ao longo do ano, ótimo momento para reler as últimas newsletters e implementar as mudanças que ficaram no backlog.

Boa leitura!

[Big Data & Machine Learning]
– From zero to hero: Uma jornada de Data Analyst a Engenheiro Sênior
– Lançado o relatório Artificial Intelligence Index Report 2022
– Indústria 4.0 é muito mais do que Fábrica 4.0
– State of Data Brasil lançado
– Usando AutoEncoders em Redes Neurais Não Supervisionadas
– Descobrindo Partículas de Informação com a Teoria de Shannon
– O que Data Scientists podem aprender com Economistas
– Características de Séries Temporais
– KPIs que todo Time de Dados deveria ter

[Amazon Web Services]
– Lançado o novo AWS QuickSight Community
– AWS Lambda agora suporta 10GB de storage efêmero
– PostgreSQL RDS agora suporte FDW para MySQL
– RDS MySQL & PostgreSQL MultiAZ Deployment

[Microsoft Azure]
– Lançado o Azure Health Data Services para execução de algoritmos de IA
– Microsoft Azure nomeada como Líder no Quadrante da The Forrester
– Introduzindo o Azure Synapse para o Dataverso
– Novidades na PaaS Azure Stream Analytics

[Google Cloud Platform]
– Federated Learning na GCP
– Uso de NLP na Google Cloud para geração de insights
– Criado repositório de análise de log, com foco em Dados e Segurança
– Economizando com Cloud Spanner
– Pipeline de dados do SAP para BigQuery com Cloud Cortex

[Databases]
– Flyway: Versionamento de objetos e criação de scripts
– Postgres: Usando plprofiler para testar performance do banco de dados
– Postgres: Fazendo tuning de max_wal_size
– Postgres: Realizando sharding do banco de dados
– Postgres: Automatizando testes no banco de dados com pgTAP
– Postgres: Análise de uso de JSON em Postgres

Update Sem Where [Fevereiro/2022]

[Análise]
E iniciamos o nosso ano com um bom ritmo de novidades!

Justificando seu marketshare, a AWS é a cloud com mais novidades neste início de ano, onde vemos um foco maior em soluções e arquiteturas que geram valor para os clientes.

Tendência esta também vista em seus competidores: um foco maior em soluções que geram valor e menor em “tecnologia pela tecnologia”.

Também temos um interessante novo competidor dentro do nem-sempre-tão-comentado ramo dos bancos de dados NewSQL, que são os bancos de dados relacionais e escaláveis, que procuram unir os mundos SQL e NoSQL. Veja a documentação do Yuga, que chega para brigar com competidores como Google Cloud Spanner e Cockroach DB.

Boa leitura!

[Big Data & Machine Learning]
– Yuga: um banco de dados escalável e resiliente
– Explicação sobre o algoritmo de Árvore de Decisão
– Sete passos para aprender Machine Learning
– Um guia para a escolha de qual modelo de Machine Learning utilizar
– Uma comparação entre PyTorch e TensorFlow
– Design Patterns em MLOps

[Amazon Web Services]
– Modelos de Detecção de Fraude da Amazon em Python
– Arquitetura para extração e indexação de conteúdo de documentos
– Como monetizar suas APIs baseadas em dados
– Analisando os benefícios do AQUA para a performance do Redshift
– Embedando o Quicksight Q em suas soluções
– Detecção de anomalias com o Opensearch

[Microsoft Azure]
– Monitoramento avançado com Azure Monitor
– Integração de Logs com Logz.io

[Google Cloud Platform]
– Criando modelos de Machine Learning para a área de Seguros
– Análise Exploratória de Dados na GCP com Netapp
– Perpectivas de CyberSecurity na CISO 2022

[Databases]
– Flyway: Lidando com migrações que falharam
– Flyway: Devops 101 com Flyway
– Flyway: Customizando deploys de bancos de dados
– Postgres: FDW para arquivos Parquet no S3
– Postgres: pg_query_rewrite permite reescrever queries executadas
– Postgres: PgSpider permite o uso do Postgres como um Presto
– Postgres: Nova versão do PgPool lançada
– MySQL: Point in time Recovery
– MySQL: Configurando Disaster Recovery
– MySQL: Dump & Load
– MongoDB: Conector para o Apache Kafka lançado
– MongoDB: 10 sinais de que sua arquitetura de dados está limitando sua inovação

Executive Summary [Janeiro/22]

awesome science trick versus engineering workaround on how to balance two forks on top of a glass

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 2 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/02
Machine Learning Engineering (versus Data Science)

O que é?
Criar modelos matemáticos que encontram padrões nos dados e, com isso, conseguem realizar predições, é o trabalho principal do Data Scientist. A nova tendência é que estes profissionais passem a disponibilizar (via empresas ou diretamente), modelos prontos para o uso em plataformas de Cloud (GCP, AWS, Azure, etc) ou mesmo via um marketplace específico.

Por que isto é interessante?
Com o crescimento desta tendência, as empresas não precisarão mais ter um Data Scientist em suas equipes. Porém, os modelos disponibilizados ainda não são abstratos o suficientes para serem usados por Analistas de Negócio ou Programadores em geral. Por isso a necessidade de Machine Learning Engineer, que é um profissional formado basicamente em Engenharia de Dados, mas com conhecimentos em Data Science. O foco deste profissional será construir a soluções que utilizem os modelos de predição através da construção e monitoramento de Pipelines de Dados.

Como posso colocar em prática?
As principais nuvens já disponibilizam modelos pré-treinados para determinados problemas, alguns inclusive com soluções do tipo “drag-and-drop” (arraste e solte), sem precisar programar. Com isto, sua empresa pode fazer uso de modelos preditivos sem precisar criar uma equipe de Ciência de Dados.

Tendência 02/02
Migração para Nuvem AS-IS: Não faça isso

O que é?
Migrar arquiteturas de dados on premise para a nuvem pode ser uma verdadeida dor de cabeça. Afinal, a quantidade de dados envolvidos pode ser grande, a janela de manutenção pequena e o espaço para erro é inexistente. Por isso, para facilitar, muitas empresas migram as estruturas on prem para a nuvem “as is”, ou seja, mantendo a mesma arquitetura.

Por que isto é interessante?
Migrar para a nuvem não é apenas uma questão de não precisar gerenciar um datacenter. Pode ser muito mais: uso sob demanda, elasticidade sob demanda, separação de storage e processamento, utilização de diferentes serviços sob demanda, etc. Toda esta cartilha de opções está à sua disposição ao migrar para a nuvem, por isto é um bom momento para rever a arquitetura da sua solução para que você possa economizar/explorar/diversificar sua solução com ferramentas que antes não dispunha.

Como posso colocar em prática?
A AWS oferece o “AWS Well Architected Framework” com diversas ideias de arquiteturas para soluções comuns no mundo dos negócios.

Home