Venha conosco aprender sobre o Apache Beam, moderna ferramenta para Data Pipelines!
Link para o código usado na apresentação: https://github.com/rfribeiro/beam-workshop-campdata
Obrigado Rafael Ribeiro (Data Scientist na KaBuM!) por compartilhar este conhecimento conosco!
Pra quem perdeu, pode assistir no nosso canal do YT:
Ontem tivemos um dos melhores conteúdos em língua portuguesa sobre o Apache NiFi!
Ferramenta fantástica, que junta a facilidade do trabalho em interface visual com a capacidade de escalar e distribuir carga, tão necessária no mundo de Big Data.
Obrigado Eliézer Zarpelão por compartilhar este conhecimento conosco!
Pra quem perdeu, pode assistir no nosso canal do YT:
Os diversos comentários e notas dados em App Stores formam uma grande base de dados, com a opinião dos consumidores.
Neste meetup, seremos guidados por Fabio Brolesi, Tech Lead na ci&t, que irá nos mostrar como utilizar técnicas de Ciência de Dados para analisar este dataset textual.
Vejam o webinar no link do nosso canal do Youtube:
https://youtu.be/g_lLmZXKpFk
Acabamos de inaugurar trilhas (playlists) em nosso canal no YouTube!
As trilhas atuais são:
– Liderança
– Engenharia de Dados
– Análise e Ciência de Dados
São conteúdos com muita qualidade, disponibilizados pelo nosso braço educacional, a campdata!
Link para o canal:
https://www.youtube.com/channel/UCePbMP6CDVtRVkTon3USpRg
Amanhã, Quarta-feira (26/05), estaremos presentes no evento Data Driven Decision, para participar de um painel sobre Gestão de Times de Dados.
Seremos acompanhados pelo CTO da 1Brain, Jaime Brolesi, empresa que deu origem ao iFood.
Cadastre-se no site do evento: www.datadrivendecision.com.br
É online e gratuito, não perca!
Você sabe o que são produtos de dados?
Aprenda com nosso conteúdo!
Neste vídeo, você poderá assistir à gravação do nosso meetup sobre Gestão de Produtos de Dados, com a resposta para a nossa pergunta e também com muitas outras informações!
Já neste link, você pode baixar a nossa apresentação, onde você poderá estudar o assunto com mais detalhes, lendo os artigos referenciados durante a apresentação.
Bons estudos!
Armazenar, catalogar e processar grandes quantidades de dados exigem novas ferramentas e novos processos.
Nesta apresentação, mostraremos o conceito (e a prática) de como realizar estas ações de maneira moderna, modular e escalável, utilizando um Data Lake e a Arquitetura Lambda.
Palestra realizada no:
-GDG Datafest (Campinas-SP) 2019
Uma arquitetura de Big Data costuma possuir várias camadas específicas, cada uma com uma função diferente.
De maneira geral, as camadas são:
– Entrada do pedido
– Orquestração
– Processamento
– Predição
– Retorno da informação
Nesta apresentação, trazemos uma jornada de análise de arquiteturas serverless para se utilizar com um micro-serviço de machine learning.
Analisamos vários pontos, mostrando os prós e contras de cada solução.
Como operar um ambiente de Big Data em Multi-Cloud? E como fazer este ambiente servir a diversos propósitos, seja para um BI, para um trabalho de Análise e Mineração de Dados ou para alimentar a criação de Modelos de Machine Learning?
Aprenda como a AME Digital resolveu este problema neste webinar da campdata: https://www.youtube.com/channel/UCePbMP6CDVtRVkTon3USpRg
Aproveite!
Você sabe o que é DataOps?
Acredito que ainda não exista uma definição formal.
Mas a comunidade de Data tem sedimentado este conceito com competências que envolvem:
-DevOps (version control, CI, CD, etc)
-Data Governance (data lineage, reproducibilidade, LGPD, etc)
-Data Quality (monitoramento, tratamento, etc)
-Data Pipeline (monitoramento, evolução, testes, etc)
-Dentre outros
Para me aprofundar no assunto, recebi a indicação do “The DataOps Cookbook”. Recomendo a leitura!
Link: https://datakitchen.io/content/DataKitchen_dataops_cookbook.pdf