📊 Em um projeto recente, tive a oportunidade de testar diversos LLMs para um case no setor de Marketing de uma empresa na área de Notícias e Geração de Conteúdo.

Irei explorar o case em mais detalhes futuramente, mas apenas para contextualizar, estávamos classificando cerca de 2.000 notícias criadas nos últimos 24 meses de acordo com um novo sistema de classificação de conteúdo proposto pela empresa.

Utilizamos o AWS Bedrock para esta tarefa, o que nos permitiu comparar diversos modelos em cima de um mesmo pipeline.

Para além da performance dos modelos, outras questões como revisão do sistema de classificação, comparação com concorrentes, custo e etc também foram levantadas e serão abordadas posteriormente.

Agora quero apenas trazer para vocês o desempenho de cada modelo em nosso teste, com a acurácia baseada em um dataset de treino já rotulado.

Para termos um benchmark, comparamos a performance do modelo com a de um time de especialistas da empresa que também realizou uma classificação do dataset de treino, sem saber a resposta correta.

🧑‍🏭 Estou usando o AWS Bedrock e estou gostando muito!

Para quem já está trabalhando com IA (a.k.a. Machine Learning, Estatística, etc) há alguns anos, é incrível ver a evolução das ferramentas e de como isso afeta a produtividade, a prototipagem e a entrega de soluções.

Tenho trabalhado nos últimos meses com o AWS Bedrock e a plataforma não para de me supreender. Eis alguns motivos:

– Existe um grande catálogo de modelos LLMs disponíveis e já plugados à plataforma

– Existem ferramentas de sandbox para você testar e comparar modelos rapidamente, sem precisar de grandes configurações

– Existem configurações mais avançadas, quando você precisa extrair o máximo de um modelo

– Existe controle e versionamento de prompt, para você testar a performance de diversos prompts em cima dos mesmos dados

– É possível construir Flows com múltiplas chamadas de prompt, realizando tarefas complexas em um ambiente drag-and-drop

– É possível interagir com estes Flows através de chamadas da API do Bedrock, tornando o acesso possível a partir de qualquer software, integrando assim o poder das múltiplas LLMs ao seu produto

💻 O avanço da Inteligência Artificial faz as pessoas se questionarem: “o que acontecerá com meu emprego?”

Como este é um sentimento bastante comum, diversas pesquisas sobre o assunto foram realizdas.

Uma delas é o relatório “Future of Jobs” do World Economic Forum. Os principais impactos previstos são:

Criação e Eliminação de Empregos:
• Até 2030, prevê-se a criação de cerca de 170 milhões de novos empregos, representando 14% do total de empregos atuais.
• Ao mesmo tempo, estima-se a eliminação de aproximadamente 92 milhões de empregos (8% do total), resultando em um crescimento líquido de 78 milhões de postos de trabalho (7% de aumento).

Dinâmica dos Papéis Profissionais:
• Papéis impulsionados por tecnologias emergentes — como especialistas em Big Data, FinTech, AI e desenvolvedores de software — estão entre os que mais crescem.
• Empregos relacionados à transição verde, como engenheiros ambientais e especialistas em energias renováveis, também apresentam forte crescimento.
• Em contrapartida, funções administrativas (por exemplo, caixas, atendentes e operadores de entrada de dados) estão entre os que mais declinam, principalmente devido à automação e à digitalização dos processos.

Impactos Diferenciados por Setor e Região:
• O crescimento ou declínio dos empregos varia conforme o setor: setores fundamentais como agricultura, construção e transporte podem registrar aumentos expressivos em volume absoluto.
• Além disso, as transformações são moduladas por características regionais e econômicas, refletindo as diferentes realidades demográficas e tecnológicas de cada região.