Introducción a las instancias Trn2 con AWS Neuron

En Anthropic, millones de personas confían a diario en Claude para realizar sus trabajos. Anunciamos dos avances importantes con AWS. En primer lugar, un nuevo “modo optimizado para latencia” para Claude 3.5 Haiku, que funciona un 60 % más rápido en Trainium2 a través de Amazon Bedrock. En segundo lugar, el Proyecto Rainier. Se trata de un clúster nuevo con cientos de miles de chips Trainium2 que ofrecen cientos de exaflops, lo que supone más de cinco veces el tamaño de nuestro clúster anterior. El Proyecto Rainier ayudará a impulsar tanto nuestra investigación como nuestra próxima generación de escalamiento. Para nuestros clientes, esto significa más inteligencia, precios más bajos y velocidades más rápidas. No solo estamos creando una IA más rápida, sino también una IA fiable que escale.

Mosaic AI de Databricks permite a las organizaciones crear e implementar sistemas de agentes de calidad. Se crea de forma nativa sobre el lakehouse de datos, lo que permite a los clientes personalizar sus modelos de forma fácil y segura con datos empresariales y ofrecer resultados más precisos y específicos de cada dominio. Gracias al alto rendimiento y la rentabilidad de Trainium, los clientes pueden escalar el entrenamiento del modelo en Mosaic AI a un costo bajo. La disponibilidad de Trainium2 será un beneficio importante para Databricks y sus clientes, ya que la demanda de Mosaic AI sigue creciendo en todos los segmentos de clientes y en todo el mundo. Databricks, una de las empresas de datos e IA más grandes del mundo, planea utilizar TRN2 para ofrecer mejores resultados y reducir el TCO hasta en un 30 % para sus clientes.

En poolside, queremos construir un mundo en el que la IA impulse la mayoría del trabajo de valor económico y el progreso científico. Creemos que el desarrollo de software será la primera capacidad importante de las redes neuronales que alcance el nivel de inteligencia humana, ya que es el dominio en el que mejor se pueden combinar los enfoques de búsqueda y aprendizaje. Por lo tanto, estamos creando modelos fundacionales, una API y un asistente para llevar el poder de la IA generativa a las manos (o al teclado) de los desarrolladores. Una de las claves para habilitar esta tecnología es la infraestructura que utilizamos para crear y ejecutar nuestros productos. Gracias a AWS Trainium2, nuestros clientes podrán escalar el uso de poolside con una relación precio-rendimiento diferente a la de otros aceleradores de IA. Además, planeamos entrenar los modelos futuros con Trainium2 UltraServer, con un ahorro previsto del 40 % en comparación con las instancias P5 de EC2.

El propósito de Itaú Unibanco es mejorar la relación de las personas con el dinero, lo que crea un impacto positivo en sus vidas y amplía sus oportunidades de transformación. En Itaú Unibanco, creemos que cada cliente es único y nos enfocamos en satisfacer sus necesidades a través de viajes digitales intuitivos, que aprovechan el poder de la IA para adaptarse constantemente a sus hábitos de consumo.

Probamos AWS Trainium e Inferentia en varias tareas, que van desde la inferencia estándar hasta aplicaciones ajustadas. El rendimiento de estos chips de IA nos ha permitido alcanzar hitos importantes en la investigación y el desarrollo. En las tareas de inferencia por lotes y en línea, observamos que el rendimiento mejoró 7 veces en comparación con las GPU. Este rendimiento mejorado está impulsando la expansión de más casos de uso en toda la organización. La última generación de chips Trainium2 desbloquea características innovadoras para GenAI y abre la puerta a la innovación en Itaú.

Ninja es un agente de IA completo para que busca lograr una productividad ilimitada: una suscripción simple, acceso ilimitado a los mejores modelos de IA del mundo y las mejores habilidades de IA, como la escritura, la codificación, la lluvia de ideas, la generación de imágenes y la investigación en línea. Ninja es una plataforma de agentes y ofrece “SuperAgent”, que utiliza una mezcla de agentes con una precisión de primera clase comparable a la de los modelos fundacionales de frontera (y en algunas categorías la supera). La tecnología agente de Ninja exige aceleradores de alto rendimiento para ofrecer las experiencias únicas en tiempo real que nuestros clientes esperan. 

Estamos muy entusiasmados con el lanzamiento de AWS TRN2 porque creemos que ofrecerá el mejor costo por token y la mayor velocidad posible de la actualidad para nuestro modelo principal Ninja LLM, que se basa en Llama 3.1 405B. Es increíble ver la baja latencia de Trn2, junto con los precios competitivos y la disponibilidad bajo demanda. No podríamos estar más entusiasmados con la llegada de Trn2.

El equipo de machine learning de RICOH desarrolla soluciones para el lugar de trabajo y servicios de transformación digital diseñados para administrar y optimizar el flujo de información en nuestras soluciones empresariales.

La migración a las instancias Trn1 fue sencilla. Pudimos entrenar previamente nuestro LLM de 13 000 millones de parámetros en solo 8 días con un clúster de 4096 chips Trainium. Luego del éxito que obtuvimos con nuestro modelo más pequeño, ajustamos un LLM nuevo y más grande basado en Llama-3-Swallow-70B y, gracias a Trainium, pudimos reducir un 50 % nuestros costos de entrenamiento y mejorar un 25% la eficiencia energética en comparación con el uso de las máquinas GPU más recientes de AWS. Nos entusiasma aprovechar la última generación de chips de IA de AWS, Trainium2, para seguir ofreciendo a nuestros clientes el mejor rendimiento al costo más bajo.

Lo que más me gustó de la biblioteca de NxD Inference de AWS Neuron es cómo se integra perfectamente con los modelos de PyTorch. El enfoque de NxD es sencillo y fácil de utilizar. Nuestro equipo pudo incorporar los modelos de PyTorch en HuggingFace con cambios mínimos en el código y en poco tiempo. La habilitación de características avanzadas como el procesamiento por lotes continuo y la decodificación especulativa fue sencilla. El uso sencillo mejora la productividad de los desarrolladores, lo que permite a los equipos centrarse más en la innovación y menos en los desafíos de integración.

Refact.ai ofrece herramientas de IA completas, como el autocompletado de código con generación aumentada por recuperación (RAG), que proporciona sugerencias más precisas, y un chat que se adapta al contexto mediante modelos patentados y de código abierto.

Los clientes han alcanzado hasta un 20 % más de rendimiento y 1,5 veces más de tokens por dólar con las instancias Inf2 de EC2 en comparación con las instancias G5 de EC2. Las capacidades de ajuste de Refact.ai mejoran aún más la capacidad de nuestros clientes para comprender y adaptarse al entorno y al código base único de sus organizaciones. Nos complace también ofrecer las capacidades de Trainium2, que brindarán un procesamiento aún más rápido y eficiente a nuestros flujos de trabajo. Esta tecnología avanzada permitirá a nuestros clientes acelerar el proceso de desarrollo de software, ya que aumenta la productividad de los desarrolladores y, al mismo tiempo, mantiene estrictos estándares de seguridad para la base de código.

KARAKURI crea herramientas de IA para mejorar la eficacia de la atención al cliente basada en la web y simplificar la experiencia de los clientes. Estas herramientas incluyen chatbots de IA equipados con funciones de IA generativa, herramientas de centralización de preguntas frecuentes y una herramienta de respuesta por correo electrónico, todo lo cual mejora la eficiencia y la calidad de la atención al cliente. Gracias a AWS Trainium, logramos entrenar KARAKURI LM 8x7B Chat v0.1. Las empresas emergentes, como nosotros, necesitamos optimizar el tiempo de creación y el costo requerido para entrenar a los LLM. Con el apoyo de AWS Trainium y el equipo de AWS, logramos desarrollar un LLM de nivel práctico en poco tiempo. Además, con la adopción de AWS Inferentia pudimos crear un servicio de inferencia rápido y rentable. Estamos entusiasmados con Trainium2 porque revolucionará nuestro proceso de entrenamiento, reducirá nuestro tiempo de entrenamiento a la mitad e impulsará la eficiencia a niveles nuevos.

Con la misión de “reinventar el mecanismo de creación de valor y hacer avanzar a la humanidad”, Stockmark ayuda a muchas empresas a crear y construir negocios innovadores al proporcionar tecnología de procesamiento del lenguaje natural de vanguardia. El nuevo servicio de análisis y recopilación de datos de Stockmark, llamado Anews, y SAT, un servicio de estructuración de datos que mejora drásticamente los usos de la IA generativa mediante la organización de todas las formas de información almacenada en una organización, nos obligaron a replantearnos la forma en que creamos e implementamos los modelos para respaldar estos productos. Con 256 aceleradores Trainium, desarrollamos y publicamos stockmark-13b, un modelo de lenguaje de gran tamaño con 13 000 millones de parámetros, previamente entrenado desde cero en un conjunto de datos japonés de 220 000 millones de tokens. Las instancias Trn1 nos ayudaron a reducir un 20% los costos de entrenamiento. Con Trainium, desarrollamos con éxito un LLM que puede responder a preguntas críticas empresariales de profesionales con una precisión y velocidad sin precedentes. Este logro es particularmente notable dado el desafío generalizado al que se enfrentan las empresas a la hora de conseguir recursos computacionales adecuados para el desarrollo de modelos. Con la impresionante reducción de costos y la velocidad de las instancias Trn1, nos entusiasma ver los beneficios adicionales que Trainium2 aportará a nuestros flujos de trabajo y clientes.