Neste episódio falamos sobre um assunto necessário e ainda pouco explorado: Big Data Design Patterns!
Padrões como: Data Warehouse, Data Lake, Arquitetura Lambda, Arquitetura Kappa, Streaming, etc.
Acesse, curta e se inscreva no canal:
https://www.youtube.com/watch?v=Y2HxmY-RS1Q
Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.
Na newsletter de hoje temos 2 tendências muito interessantes para suas estratégias de transformação digital:
Tendência 01/02
Design Patterns em Big Data
O que é?
Existem milhares (talvez milhões) de fontes de dados. Existem centenas (talvez milhares) de tecnologias que processam dados. Portanto existem milhões de possibilidades na construção de pipelines de coleta e processamento de dados. Porém, as diversas opções são, na verdade, parte de um número menor e arquetípico de modos de processamento dos dados.
Por que isto é interessante?
Entender os tipos de padrões existentes para o processamento de dados, pode ajudar as equipes técnicas a criar soluções resilientes e com maior rapidez, trazendo maiores benefícios de negócio para a empresa.
Como posso colocar em prática?
Fique de olho em nosso site para novidades!
Tendência 02/02
Indexação de conteúdo de documentos escaneados
O que é?
É muito comum que as empresas possuam documentos escaneados, ou mesmo gerados digitalmente em PDF. Fazer a gestão do conhecimento contida nestes documentos é algo complexo.
Por que isto é interessante?
Criar processos que possam extrair e indexar o conteúdo destes documentos, disponibilizando-os ao alcance de uma ferramente de busca corporativa “a la Google”, permite que a empresa possa facilmente encontrar o conhecimento em seus documentos.
Como posso colocar em prática?
Utilizando arquiteturas de processamento de dados que possam:
– Extrair o texto do documento
– Identificar keywords importantes
– Indexar todo este conteúdo em uma ferramenta que busca
[Análise]
E iniciamos o nosso ano com um bom ritmo de novidades!
Justificando seu marketshare, a AWS é a cloud com mais novidades neste início de ano, onde vemos um foco maior em soluções e arquiteturas que geram valor para os clientes.
Tendência esta também vista em seus competidores: um foco maior em soluções que geram valor e menor em “tecnologia pela tecnologia”.
Também temos um interessante novo competidor dentro do nem-sempre-tão-comentado ramo dos bancos de dados NewSQL, que são os bancos de dados relacionais e escaláveis, que procuram unir os mundos SQL e NoSQL. Veja a documentação do Yuga, que chega para brigar com competidores como Google Cloud Spanner e Cockroach DB.
Boa leitura!
[Big Data & Machine Learning]
– Yuga: um banco de dados escalável e resiliente
– Explicação sobre o algoritmo de Árvore de Decisão
– Sete passos para aprender Machine Learning
– Um guia para a escolha de qual modelo de Machine Learning utilizar
– Uma comparação entre PyTorch e TensorFlow
– Design Patterns em MLOps
[Amazon Web Services]
– Modelos de Detecção de Fraude da Amazon em Python
– Arquitetura para extração e indexação de conteúdo de documentos
– Como monetizar suas APIs baseadas em dados
– Analisando os benefícios do AQUA para a performance do Redshift
– Embedando o Quicksight Q em suas soluções
– Detecção de anomalias com o Opensearch
[Microsoft Azure]
– Monitoramento avançado com Azure Monitor
– Integração de Logs com Logz.io
[Google Cloud Platform]
– Criando modelos de Machine Learning para a área de Seguros
– Análise Exploratória de Dados na GCP com Netapp
– Perpectivas de CyberSecurity na CISO 2022
[Databases]
– Flyway: Lidando com migrações que falharam
– Flyway: Devops 101 com Flyway
– Flyway: Customizando deploys de bancos de dados
– Postgres: FDW para arquivos Parquet no S3
– Postgres: pg_query_rewrite permite reescrever queries executadas
– Postgres: PgSpider permite o uso do Postgres como um Presto
– Postgres: Nova versão do PgPool lançada
– MySQL: Point in time Recovery
– MySQL: Configurando Disaster Recovery
– MySQL: Dump & Load
– MongoDB: Conector para o Apache Kafka lançado
– MongoDB: 10 sinais de que sua arquitetura de dados está limitando sua inovação
Neste episódio falamos sobre um dos assuntos mais comentados do momento: O que faz um Machine Learning Engineer?
Quais são suas diferenças em relação a um Data Engineer e a um Data Scientist?
Também falamos sobre redefinir Arquiteturas de Soluções ao migrar para a Nuvem.
Acesse, curta e se inscreva no canal:
https://youtu.be/ts_JzV03pDk
Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.
Na newsletter de hoje temos 2 tendências muito interessantes para suas estratégias de transformação digital:
Tendência 01/02
Machine Learning Engineering (versus Data Science)
O que é?
Criar modelos matemáticos que encontram padrões nos dados e, com isso, conseguem realizar predições, é o trabalho principal do Data Scientist. A nova tendência é que estes profissionais passem a disponibilizar (via empresas ou diretamente), modelos prontos para o uso em plataformas de Cloud (GCP, AWS, Azure, etc) ou mesmo via um marketplace específico.
Por que isto é interessante?
Com o crescimento desta tendência, as empresas não precisarão mais ter um Data Scientist em suas equipes. Porém, os modelos disponibilizados ainda não são abstratos o suficientes para serem usados por Analistas de Negócio ou Programadores em geral. Por isso a necessidade de Machine Learning Engineer, que é um profissional formado basicamente em Engenharia de Dados, mas com conhecimentos em Data Science. O foco deste profissional será construir a soluções que utilizem os modelos de predição através da construção e monitoramento de Pipelines de Dados.
Como posso colocar em prática?
As principais nuvens já disponibilizam modelos pré-treinados para determinados problemas, alguns inclusive com soluções do tipo “drag-and-drop” (arraste e solte), sem precisar programar. Com isto, sua empresa pode fazer uso de modelos preditivos sem precisar criar uma equipe de Ciência de Dados.
Tendência 02/02
Migração para Nuvem AS-IS: Não faça isso
O que é?
Migrar arquiteturas de dados on premise para a nuvem pode ser uma verdadeida dor de cabeça. Afinal, a quantidade de dados envolvidos pode ser grande, a janela de manutenção pequena e o espaço para erro é inexistente. Por isso, para facilitar, muitas empresas migram as estruturas on prem para a nuvem “as is”, ou seja, mantendo a mesma arquitetura.
Por que isto é interessante?
Migrar para a nuvem não é apenas uma questão de não precisar gerenciar um datacenter. Pode ser muito mais: uso sob demanda, elasticidade sob demanda, separação de storage e processamento, utilização de diferentes serviços sob demanda, etc. Toda esta cartilha de opções está à sua disposição ao migrar para a nuvem, por isto é um bom momento para rever a arquitetura da sua solução para que você possa economizar/explorar/diversificar sua solução com ferramentas que antes não dispunha.
Como posso colocar em prática?
A AWS oferece o “AWS Well Architected Framework” com diversas ideias de arquiteturas para soluções comuns no mundo dos negócios.