Data Services

Somos a sua referência em Big Data & Machine Learning

O que oferecemos?

Somos um estúdio de serviços em Tecnologia da Informação. Nosso propósito é possibilitar que as empresas utilizem seus dados para provocar a melhoria contínua em seus projetos, produtos e processos. Nossas principais competências são: Bancos de Dados, Business Intelligence, Big Data e Machine Learning.

Machine Learning

Com o uso de Dados e Machine Learning, construiremos algoritmos de Inteligência Artificial para resolver problemas complexos

Big Data

Desenvolvemos projetos de Data Warehouse e Data Lake, levando em conta aspectos de utilização, escalabilidade e segurança

Databases

Prestamos serviços de suporte, consultoria e treinamento em bancos de dados PostgreSQL e MySQL

Youtube

Assista aos Webinars e Meetups que já realizamos

Meetup

Entre em nossa comunidade para ficar de olho em nossos próximos Webinars e Meetups

CyberSecurity

Através de nossa parceria com a Kryptus, garanta a segurança de seu ambiente digital

Outros Serviços

Feedbacks

O que nossos clientes dizem sobre nós:

img

A Máquina de Dados possui uma verdadeira parceria com os clientes, conhece a fundo nosso ambiente e possui muita qualidade técnica.

João L. - IT Manager

Posts

Temos orgulho em produzir conteúdo de qualidade e de maneira gratuita para nossos Clientes e o Público em geral

Executive Summary – Dezembro/2021

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 3 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/03
Produtos de Dados

O que são?
Entender a diferença entre projeto e produto pode ajudar a melhor gerenciar os produtos de dados que uma empresa possui.

Por que isto é interessante?
Para cultivar uma cultura data-driven corporativa.

Como posso colocar em prática?
O post do Itaú sobre o assunto em seu Medium é muito interessante.

Tendência 02/03
Seriam as plataformas de “Self Service BI” uma miragem?

O que é?
Embora pareça fornecer uma visão clara sobre seu significado, a expressão “Self Service BI” não é tão clara assim na prática. Poucas ferramentas (se é que existem), podem de fato ser “Self Service” para os key users corporativos que não são técnicos.

Por que isto é interessante?
A saída para este aparente paradoxo é que as equipes devem investir em possuir analistas de dados em seus times, afim de auxiliar o business a identificar e construir as métricas mais adequeadas.

Como posso colocar em prática?
Este artigo na KDNuggets traz uma dissertação (não exaustiva) sobre o tema.

Tendência 03/03
Data Drifting

O que é?
Um modelo de machine learning, ao ser treinado, está identificando um padrão nos dados apresentados. Ao ser colocado em produção, é comum que o padrão existente em treinamento comece a mudar, devido a própria natureza dos negócios, com isso o modelo perde sua eficácia.

Por que isto é interessante?
Criar bons modelos de machine learning e integrá-los de maneira efetiva em produtos ou processos é um trabalho desafiador. Mas o não monitoramento de Data Drifting ao colocar o modelo em produção pode resultar em perdas para o negócio.

Como posso colocar em prática?
O modelo precisa ser monitorado e, se necessário, retreinado. Neste aritgo, discultem-se diversos aspectos sobre o tema.

Data News – Novembro / 2021

[Análise]   
Em um mundo que está, cada vez mais, deixando a pandemia no passado, temos notado a volta dos eventos presenciais, ainda que se valendo de regras sanitárias, porém este cenário já sinaliza uma perspectiva de melhoria para os próximos meses.

Com a recuperação das economias ao redor do mundo, devemos ver mais empresas adotando estratégias “figitais”, aproveitando as plataformas digitais que construíram nos últimos anos, para somar com a experiência da presença física.

Aproveite as novidades deste mês para trazer melhorias para seu ambiente, ajudando sua empresa a melhorar iniciativas internas ou a desenvolver novos projetos.

Boa leitura!

[Machine Learning & Data Engineering
– Lançado o Blog do Itaú Data no Medium
– Usando Faker para criar dados sintéticos
– Transformando ETL em ELT
– Uma análise do cenário de Self Service BI
– Monitorar ou Não Monitorar um Modelo: Eis a questão

[Amazon Web Services]  
Amazon libera diversos cursos (que antes eram pagos) de forma gratuita
– Como construir um Data Vault no Redshift
– Lançado o conector SQLAlchemy Redshift
Restringindo o acesso ao Quicksight com base no IP
– Fazendo performance benchmark com HammerDB
– Real time analytics com AWS TimeStream
– Utilizando Data Wrangler para preparação dos dados
Compartilhando os dashboards do CloudWatch usando Single Sign On

[Microsoft Azure]  
Quatro maneiras de integrar Inteligência Artifical com IoT
– Proteção de dados com Azure Confidential Computing
Templates de soluções disponibilizados para o Azure Synapse Analytics

[Google Cloud Platform]  
– Lançado o Prometheus as a service
Big Query table snapshots estão disponíveis
Big Query Omni permite Analytics cross-clouds

[Postgres]  
– Conheça o pg_dirtyread para ler registros já deletados
– Conheça o Odyssey, um Connection Pool com integração de LDAP
– Melhore o monitoramento com pg_metrics e pg_dash
– Implemente statements rollback usado o pg_statement_rollback

[MySQL]  
Webinar de laboratório prático de MySQL oferecido pela Oracle
Webinar sobre Disaster Recovery oferecido pela Oracle

[MongoDB]  
– Lançada uma REST API para interação com o MongoDB Atlas
Facet Operator aumenta em 100x a performance de consultas

Executive Summary – Novembro/2021

Imagem de rua com placas da COP26

Esta é a Executive Summary, a nossa newsletter para executivos e líderes que querem se informar sobre o que é relevante, que gostam de contar com uma curadoria de conteúdo e preferem um formato para ser consumido de maneira objetiva.

Na newsletter de hoje temos 3 tendências muito interessantes para suas estratégias de transformação digital:

Tendência 01/03
Plataformas No-Code/Low-Code

O que são?
Plataformas (geralmente online), que permitem a construção de apps (mobile ou web) ou workflows, usando nenhum (no-code) ou pouco (low-code) código.

Por que isto é interessante?
Permite a digitalização de processos sem que um grande investimento tenha que ser feito. Permite a criação de protótipos para validação de idéias, projetos e produtos.

Como posso colocar em prática?
Basta ter uma conta em uma destas plataformas. Aqui no Brasil temos a Pipefy (Disclaimer: post não comercial).

Tendência 02/03
AWS Q – Business Intelligence através de linguagem escrita

O que é?
A Amazon Web Services (AWS) possui uma ferramenta de dashboards chamada Quicksight. Esta suíte de dashboards agora possui uma ferramenta chamada Q (que vem da palavra “Questions”), que permite a criação automática de respostas através de perguntas (por exemplo: Qual produto vendeu mais em 2021 por Estado?).

Por que isto é interessante?
O Quicksight Q permite que qualquer pessoa (técnica ou não) faça perguntas, obtendo imediatamente as respostas que são fornecidas via gráficos ou métricas. Ou seja, não é necessário pedir para que alguém da equipe de BI gere um novo gráfico com um corte diferente dos dados, a ferramenta faz isso automaticamente.

Como posso colocar em prática?
Basta ler a documentação sobre como ativar a ferramenta, a modelagem inicial dos dados ainda precisa ser feita por um Analista de BI.

Tendência 03/03
Calculando sua pegada de carbono na Google Cloud

O que é?
A Google Cloud lançou uma ferramenta que calcula a pegada de carbono gerada pela sua empresa na Google Cloud (ou seja, através dos serviços que você utiliza na GCP).

Por que isto é interessante?
As pautas ESG têm avançado e a utilização de energia elétrica pelas ferramentas digitais (e, portanto, sob responsabilidade do CIO ou CDO) é uma fonte de gastos econômicos com impactos ambientais. Sua redução, e a correta mensuração disto, fará parte do accountability dos executivos em um futuro próximo.

Como posso colocar em prática?
“Aquilo que não é medido, não pode ser gerenciado”, já dizia Deming. A mensuração é um passo inicial, para que ações possam ser tomadas e seus resultados medidos.