🏬 O memo do CEO da Shopify vai dar o que falar nas próximas semanas. Concordo com a filosofia e acho que aponta um caminho a ser seguido.

Seguem os pontos principais do memo:

1. Utilizar a IA de forma eficaz é agora uma expectativa fundamental para todos na Shopify. Hoje, ela é uma ferramenta para todas as áreas e só vai se tornar mais importante. Francamente, não acho viável optar por não aprender a aplicar IA na sua área de atuação; você pode tentar, mas quero ser honesto: não vejo isso funcionando hoje, e com certeza não funcionará no futuro. A estagnação é quase certa — e estagnação é um fracasso em câmera lenta. Se você não está subindo, está escorregando.

2. A IA deve fazer parte da fase de prototipagem do GSD. A fase de protótipo de qualquer projeto GSD deve ser dominada pela exploração com IA. Prototipar serve para aprender e gerar informação. A IA acelera esse processo de forma dramática. Você pode aprender a produzir algo que outros colegas consigam analisar, utilizar e compreender em uma fração do tempo que costumava levar.

3. Adicionaremos perguntas sobre o uso de IA aos nossos questionários de avaliação de desempenho e revisão entre pares. Aprender a usar IA bem é uma habilidade nada óbvia. Minha percepção é que muitas pessoas desistem após escrever um prompt e não receber exatamente o que esperavam. Aprender a criar prompts e carregar o contexto corretamente é importante, e obter feedback dos colegas sobre como isso está indo será valioso.

4. O aprendizado é autodirigido, mas compartilhe o que você aprender. Você tem acesso ao máximo de ferramentas de IA de ponta possível. Temos o chat.shopify.io há anos. Desenvolvedores têm acesso ao Proxy, Copilot, Cursor, Claude Code — tudo pré-configurado e pronto para uso. Vamos aprender e nos adaptar juntos, como um time. Vamos compartilhar conquistas (e tropeços!) uns com os outros enquanto experimentamos novas capacidades de IA, e vamos dedicar tempo para integração da IA nas nossas análises mensais de negócios e ciclos de desenvolvimento de produto. O Slack e o Vault têm muitos espaços onde as pessoas compartilham os prompts que criaram, como os canais #revenue-ai-use-cases e #ai-centaurs.

5. Antes de solicitar mais pessoas ou recursos, os times devem demonstrar por que não conseguem realizar o que precisam com o uso de IA. Como seria essa área se agentes autônomos de IA já fizessem parte da equipe? Essa pergunta pode levar a discussões e projetos muito interessantes.

6. “Todos” significa todos. Isso se aplica a todos nós — incluindo a mim e à equipe executiva.

✅ POC com AWS Bedrock [Parte 2]

Caso você tenha perdido, a parte um com a performance dos modelos está aqui: https://lnkd.in/dKnTEwTK

Rápida (re)contextualização: conduzi um projeto de classificação de notícias em um veículo de imprensa. Estas notícias foram (re)classificadas de acordo com novas categorias criadas pela empresa. O objetivo era verificar a performance de leitura e conversão por categoria, criando assim, insumo analítico para as equipes editoriais.

Neste post irei falar um pouco sobre a Arquitetura e o Preço da solução. Então vamos direto aos fatos:

– Quem classifica cada notícia/documento é o modelo LLM escolhido dentro da plataforma AWS Bedrock. Testamos a performance de diversos modelos em nosso projeto (resultados no post anterior)

– É preciso classificar o documento e salvar o output de cada classificação. Isso foi feito utilizando-se o AWS Bedrock Flow

– É preciso orquestrar a chamada do Bedrock Flow para cada documento/notícia escolhidos para entrarem no projeto. Para isto foi utilizado uma combinação de AWS Step Functions e AWS Lambda, que itera entre todos os conteúdos salvos previamente no S3, chamando o Bedrock Flow para cada documento individualmente

– Para cada documento classificado, foi salvo um arquivo csv com o resultado no S3. Foi criado um AWS Glue Crawler que criou o Data Catalog dos resultados que depois foram disponibilizados para a equipe de Analytics através do AWS Athena

E quanto custa tudo isso?

Bom, cada ferramenta possui uma maneira de cobrar, então vamos lá:

– Cada modelo de LLM possui um preço único com uma cobrança padrão por mil tokens de entrada. Cada documento nosso possui, em médio, dois mil tokens. Escolhemos o Claude Sonnet 3.7 que cobra cerca de R$0,02 por mil tokens de entrada, portanto em nosso caso o custo foi de R$0,04 por documento classificado

– O Bedrock Flow cobra por transições dentro do workflow. São cerca de R$0,20 por 1.000 transições. Cada documento usou apenas 5 transições.

– Em relação ao AWS Lambda, ficamos dentro do free tier, que é bem generoso de um milhão de execuções, mas caso tivéssemos passado, ele custa cerca de R$1,12 por um milhão de execuções, bem barato

– Por fim, o Step Functions possui um free tier de 4 mil transições de estado. Cada documento usou apenas 2 transições, então ficou dentro do free tier também, mas caso fossemos cobrados, seria cerca de R$0,15 por mil transições de estado no workflow

Portanto, em termos de ferramental, gastamos cerca de R$45 para processar cerca de mil documentos (mais barato do que muito PF por aí).

Também processamos tudo em cerca de 1 hora, pois adicionamos paralelismo no Step Functions. A título de comparação, um humano levaria cerca de 17 horas para realizar a mesma função. Ou seja, cerca de 2 dias úteis.

📊 Em um projeto recente, tive a oportunidade de testar diversos LLMs para um case no setor de Marketing de uma empresa na área de Notícias e Geração de Conteúdo.

Irei explorar o case em mais detalhes futuramente, mas apenas para contextualizar, estávamos classificando cerca de 2.000 notícias criadas nos últimos 24 meses de acordo com um novo sistema de classificação de conteúdo proposto pela empresa.

Utilizamos o AWS Bedrock para esta tarefa, o que nos permitiu comparar diversos modelos em cima de um mesmo pipeline.

Para além da performance dos modelos, outras questões como revisão do sistema de classificação, comparação com concorrentes, custo e etc também foram levantadas e serão abordadas posteriormente.

Agora quero apenas trazer para vocês o desempenho de cada modelo em nosso teste, com a acurácia baseada em um dataset de treino já rotulado.

Para termos um benchmark, comparamos a performance do modelo com a de um time de especialistas da empresa que também realizou uma classificação do dataset de treino, sem saber a resposta correta.