Comece a usar instâncias Trn2 usando o AWS Neuron

Na Anthropic, milhões de pessoas usam o Claude todos os dias para desempenharem suas funções no trabalho. Anunciamos dois importantes avanços com a AWS: primeiro, um novo “modo otimizado para latência” para o modelo Claude 3.5 Haiku que apresenta uma performance 60% superior no Trainium2 por meio do Amazon Bedrock. E, segundo, o Project Rainier, que consiste em um novo cluster com centenas de milhares de chips do Trainium2, fornecendo centenas de exaflops, o que representa mais de cinco vezes a capacidade do nosso cluster anterior. O Project Rainier será fundamental para o avanço de nossa pesquisa e para a próxima geração de escalabilidade. Para os nossos clientes, isso representa mais inteligência, preços mais competitivos e maior agilidade. Não estamos apenas desenvolvendo uma IA mais rápida, estamos criando uma IA confiável e com capacidade de escalabilidade.

O Mosaic AI da Databricks possibilita que as organizações desenvolvam e implementem sistemas de agentes de alta qualidade. Essa solução é desenvolvida nativamente usando o data lakehouse, o que possibilita que os clientes personalizem seus modelos com dados empresariais de forma fácil e segura, e forneçam resultados mais precisos e específicos para o domínio. Devido à alta performance e à eficiência de custos do Trainium, os clientes podem ampliar o treinamento de modelos no Mosaic AI a um custo reduzido. A disponibilidade do Trainium2 representará um grande benefício para a Databricks e seus clientes, à medida que a demanda pelo Mosaic AI continua a escalar em todos os segmentos de clientes e ao redor do mundo. A Databricks, uma das principais empresas de dados e IA do mundo, planeja usar as instâncias Trn2 para fornecer resultados superiores e reduzir o TCO em até 30% para seus clientes.

Na Poolside, estamos determinador a criar um mundo em que a IA será responsável pela maior parte do trabalho de valor econômico e do progresso científico. Acreditamos que o desenvolvimento de software será a primeira grande funcionalidade das redes neurais a atingir a inteligência de nível humano, pois é o domínio em que podemos integrar as abordagens de Pesquisa e Aprendizado de forma eficiente. Para tornar isso possível, estamos desenvolvendo modelos de base, uma API e um Assistente para fornecer as capacidades da IA generativa às mãos (ou ao teclado) dos seus desenvolvedores. Um elemento fundamental para possibilitar essa tecnologia é a infraestrutura que estamos usando para desenvolver e executar nossos produtos. Com o AWS Trainium2, nossos clientes terão a capacidade de escalar o uso do modelo da Poolside a uma relação entre preço e performance única em comparação com outros aceleradores de IA. Além disso, planejamos treinar futuros modelos com os servidores UltraServers do Trainium2, com uma economia esperada de 40% em comparação às instâncias P5 do EC2.

O Itaú Unibanco tem como propósito melhorar a relação das pessoas com o dinheiro, promovendo um impacto positivo em suas vidas e ampliando suas oportunidades de transformação. No Itaú Unibanco, acreditamos que cada cliente é único e nos concentramos em atender às necessidades deles por meio de jornadas digitais intuitivas, que usam a capacidade da IA para se adaptar constantemente aos hábitos de consumo.

Realizamos testes com o AWS Trainium e com o Inferentia em várias tarefas, abrangendo desde a inferência padrão até aplicações com ajustes. A performance desses chips de IA possibilitou que atingíssemos marcos significativos em nossa pesquisa e desenvolvimento. Para tarefas de inferência em lote e on-line, constatamos uma melhoria de sete vezes no throughput em comparação com as GPUs. Essa performance aprimorada está promovendo a expansão de novos casos de uso em toda a organização. A geração mais recentes de chips do Trainium2 revela recursos inovadores para a IA generativa, possibilitando inovações no Itaú.

O Ninja trata-se um agente de IA completo para a obtenção de produtividade ilimitada: uma assinatura simples e acesso ilimitado aos melhores modelos de IA do mundo, além de habilidades avançadas, como: produção textual, programação, geração de ideias, criação de imagens e pesquisa on-line. O Ninja é uma plataforma com capacidades de agentes e disponibiliza o “SuperAgent”, que emprega um conjunto de agentes com precisão de alto nível, comparável aos modelos de base mais avançados e superando-os em determinadas categorias. A tecnologia Agentic do Ninja requer aceleradores de máxima performance para proporcionar as experiências em tempo real únicas que nossos clientes demandam. 

Estamos extremamente entusiasmados com o lançamento das instâncias Trn2 da AWS, pois acreditamos que elas oferecerão o melhor custo por performance de token e a velocidade mais rápida atualmente disponível para o nosso modelo principal, Ninja LLM, baseado no Llama 3.1 405B. É impressionante observar a baixa latência das instâncias Trn2 combinada com preços competitivos e disponibilidade sob demanda. Estamos extremamente entusiasmados com a chegada das instâncias Trn2.

A equipe de machine learning da RICOH desenvolve soluções para o ambiente de trabalho e serviços de transformação digital projetados para gerenciar e otimizar o fluxo de informações em nossas soluções empresariais.

A migração para as instâncias Trn1 foi realizada de forma fácil e sem complicações. Conseguimos treinar previamente nosso grande modelo de linguagem (LLM) com 13 bilhões de parâmetros em apenas oito dias, utilizando um cluster de 4.096 chips do Trainium. Após o sucesso obtido com nosso modelo menor, ajustamos um novo grande modelo de linguagem baseado no Llama-3-Swallow-70B. Ao usar o Trainium, conseguimos reduzir os custos de treinamento em 50% e aprimorar a eficiência energética em 25%, em comparação com o uso das máquinas de GPU mais recentes na AWS. Estamos animados em adotar a mais recente geração de chips de IA da AWS, o Trainium2, para continuar fornecendo aos nossos clientes a melhor performance com o menor custo.

O aspecto que mais me agradou na biblioteca NxD Inference do AWS Neuron foi sua integração sem complicações com os modelos da PyTorch. A abordagem do NxD é simples e fácil de usar. Nossa equipe conseguiu integrar os modelos da HuggingFace com PyTorch com alterações mínimas no código em um curto período de tempo. Habilitar recursos avançados, como o agrupamento em lote contínuo e a decodificação especulativa, foi uma tarefa simples. Essa facilidade de uso aumenta a produtividade dos desenvolvedores, permitindo que as equipes dediquem mais tempo à inovação e menos aos desafios de integração.

A Refact.ai disponibiliza ferramentas avançadas de IA, como o preenchimento automático de código baseado na geração aumentada via recuperação (RAG), fornecendo sugestões mais precisas, e um chat contextual que usa tanto modelos proprietários quanto de código aberto.

Os clientes observaram um aumento de até 20% na performance e 1,5 vezes mais tokens por dólar com as instâncias Inf2 do EC2 em comparação com as instâncias G5 do EC2. As funcionalidades de ajuste da ferramenta Refact.ai aprimoram ainda mais a capacidade dos nossos clientes de compreender e se adaptar à base de código e ao ambiente exclusivos de suas organizações. Estamos igualmente entusiasmados em disponibilizar as funcionalidades do Trainium2, que proporcionarão um processamento ainda mais rápido e eficiente aos nossos fluxos de trabalho. Essa tecnologia avançada possibilitará que nossos clientes acelerem o processo de desenvolvimento de software ao aumentar a produtividade dos desenvolvedores enquanto mantêm padrões rigorosos de segurança para a base de código.

A KARAKURI desenvolve ferramentas de IA para melhorar a eficiência do suporte ao cliente baseado na Web e simplificar a experiência do cliente. Essas ferramentas incluem chatbots baseados em IA e equipados com funções de IA generativa, ferramentas de centralização de perguntas frequentes e uma ferramenta de resposta por e-mail, que em conjunto aumentam a eficiência e a qualidade do suporte fornecido ao cliente. Com o uso do AWS Trainium, obtivemos sucesso no treinamento do KARAKURI LM 8x7B Chat v0.1. Para startups, como a nossa, é essencial otimizar o tempo de desenvolvimento e os custos associados ao treinamento de LLMs. Com o apoio do AWS Trainium e da equipe da AWS, conseguimos desenvolver um LLM de nível prático em um curto período de tempo. Além disso, ao adotar o AWS Inferentia, conseguimos desenvolver um serviço de inferência rápido e econômico. Estamos entusiasmados com o Trainium2, pois ele revolucionará nosso processo de treinamento, reduzindo o tempo de treinamento pela metade e elevando a eficiência a novos patamares.

Com a missão de “reinventar o mecanismo de criação de valor e promover a humanidade”, a Stockmark ajuda muitas empresas a criar e construir negócios inovadores fornecendo tecnologia de processamento de linguagem natural de ponta. O novo serviço de análise e coleta de dados da Stockmark, chamado Anews, e o SAT, um serviço de estruturação de dados que aprimora significativamente o uso de IA generativa ao organizar todas as informações armazenadas em uma organização, nos levou a repensar a forma como desenvolvemos e implantamos modelos para apoiar esses produtos. Com 256 aceleradores do Trainium, desenvolvemos e lançamos o stockmark-13b, um grande modelo de linguagem com 13 bilhões de parâmetros, treinado previamente desde o início com um conjunto de dados de corpus japonês com 220 bilhões de tokens. As instâncias Trn1 foram fundamentais para reduzir nossos custos de treinamento em 20%. Com o uso do Trainium, conseguimos desenvolver com sucesso um LLM capaz de responder a perguntas essenciais para os negócios com uma precisão e agilidade sem precedentes. Esta conquista é especialmente relevante considerando o desafio generalizado que as empresas enfrentam para garantir recursos computacionais adequados para o desenvolvimento de modelos. Com a notável velocidade e redução de custos das instâncias Trn1, estamos empolgados para observar os benefícios adicionais que o Trainium2 proporcionará aos nossos fluxos de trabalho e clientes.