Clientes de Amazon SageMaker HyperPod

En Intercom, capacitamos constantemente a nuevos modelos para mejorar Fin, y estamos muy contentos de integrar la capacitación sin puntos de control en nuestros programas. Esta solución eliminará por completo la necesidad de recuperar los puntos de control de forma manual. Podremos ofrecer mejoras a Fin de manera más rápida y con menores costos de infraestructura, ya que está combinado con una capacitación elástica.

Con SageMaker HyperPod, Bayer entrenó y utilizó nuevos FM en tan solo unos pocos meses. Su equipo científico ahora puede procesar grandes cantidades de datos de imágenes biomédicas, entrenar modelos sofisticados de machine learning (ML) e identificar candidatos a fármacos prometedores según firmas fenotípicas. A medida que Bayer continúa innovando, su trabajo con AWS ayuda a allanar el camino para una I+D farmacéutica más rápida y eficiente.  

Sony Honda Mobility utiliza SageMaker HyperPod para el entrenamiento de modelos dentro de su cartera de MLOps a fin de mejorar AFEELA Intelligent Drive. “Las características de observabilidad listas para usar de HyperPod nos brindan un conjunto completo de métricas en múltiples dimensiones (clúster, nodo, tarea, etc.). Esperamos obtener información más profunda y preconfigurada sobre el estado y el rendimiento, con agregación a nivel de tareas”.

Motoi Kataoka, ingeniero de MLOps en la división de Desarrollo de Servicios de Red de Sony Honda Mobility

Thomson Reuters ha estado a la vanguardia del desarrollo de la IA durante más de 30 años y nos comprometemos a ofrecer soluciones significativas que ayuden a nuestros clientes a obtener resultados más rápido, con un mejor acceso a información fiable. Para acelerar nuestra innovación en IA generativa, además de asociarnos con proveedores de LLM, también estamos explorando el entrenamiento de modelos personalizados de manera más eficiente con nuestro contenido único y patentado y nuestra experiencia humana. Las bibliotecas de entrenamiento distribuido de SageMaker HyperPod nos ayudan a mejorar el rendimiento del entrenamiento de modelos a gran escala. Además, su característica de resiliencia ahorra tiempo a medida que supervisamos y administramos la infraestructura. El entrenamiento de nuestros modelos fundacionales en SageMaker HyperPod aumentará nuestra velocidad de comercialización y nos ayudará a ofrecer soluciones de calidad a nuestros clientes a buen ritmo.

Joel Hron, director de IA y laboratorios de Thomson Reuters, y John Duprey, ingeniero distinguido de Thomson Reuters Labs

Como empresa líder en IA generativa de código abierto, nuestro objetivo es maximizar la accesibilidad de la IA moderna. Estamos creando modelos fundacionales con decenas de miles de millones de parámetros, que requieren una infraestructura que pueda escalar un rendimiento de entrenamiento optimizado. Con la infraestructura administrada y las bibliotecas de optimización de SageMaker HyperPod, podemos reducir el tiempo y los costos de formación en más de un 50 %. Hace que nuestro entrenamiento del modelo sea más resistente y eficaz para crear modelos de última generación con mayor rapidez.

Emad Mostaque, fundador y CEO de Stability AI

Se simplificó todo el proceso. Con SageMaker HyperPod, podemos aprovechar las características de resiliencia de los clústeres que identifican y recuperan automáticamente los trabajos de entrenamiento desde el último punto de control guardado en caso de que se produzca un fallo de hardware. Ejecutamos cargas de trabajo muy diversas, desde aplicaciones, inferencias y entrenamiento, con Kubernetes como hilo conductor. Para nosotros, Amazon EKS con SageMaker HyperPod simplemente funciona: los nodos entran en nuestro clúster.

Nathan Wilce, jefe de infraestructura y datos de Recursal

Hippocratic AI, una empresa de inteligencia artificial que desarrolla el primer modelo de lenguaje de gran tamaño (LLM) centrado en la seguridad para la atención médica. Para entrenar sus modelos principales de LLM y de supervisor, Hippocratic AI requería recursos de computación potentes, que tenían una gran demanda y eran difíciles de obtener. Los planes de entrenamiento flexibles de Amazon SageMaker HyperPod les facilitaron el acceso a las instancias P5 de Amazon Elastic Compute Cloud (Amazon EC2). Hippocratic AI también aprovecha los servicios de AWS, como Grafana, para realizar un seguimiento de las métricas importantes de utilización de la GPU. Con las instancias P5 de Amazon EC2, Hippocratic AI ha aumentado cuatro veces la velocidad de entrenamiento del modelo y escala su solución para adaptarse a cientos de casos de uso. Los ayudó a asegurar los recursos de computación necesarios y a entrenar modelos rápidamente.

NinjaTech AI, una empresa de IA generativa que ofrece un SuperAgent integrado para una productividad ilimitada, utilizó los planes de entrenamiento flexible de Amazon SageMaker HyperPod para acelerar el refinamiento de varios modelos internos, incluido el modelo Llama 3.1 405B, a fin de reducir los costos de entrenamiento del modelo y automatizar el proceso. El objetivo de la empresa es brindarles una experiencia perfecta a los usuarios que desean acceder a varios agentes de IA que impulsan su tecnología SuperAgent. Para lograrlo, necesitaban un modelo que pudiera predecir automáticamente la intención del usuario y determinar qué agente de IA sería adecuado para ello. Este mecanismo requería realizar actualizaciones frecuentes del modelo incorporando los comentarios de los clientes y nuevas características de forma iterativa, lo que implicaba entre 10 y 100 millones de tokens en cada ronda de refinamiento de LoRa. Para una startup, adquirir y operar recursos de computación de alto rendimiento es un desafío debido a los problemas de ancho de banda y costo, en especial en los clústeres de varios nodos que implican redes y almacenamiento rápidos, además de una computación acelerada. Además, el proceso de entrenamiento lleva mucho tiempo e implica pasos como la descarga de modelos, el entrenamiento distribuido, el punto de control, la supervisión, la corrección automática, la fusión y la cuantización. Los planes de entrenamiento flexibles de HyperPod proporcionaron a la empresa un procesamiento fiable y asequible antes del entrenamiento, lo que se ajustó a sus requisitos de computación y cronogramas específicos y, al mismo tiempo, garantizó un entrenamiento del modelo eficiente.

Los desarrolladores y científicos de datos de OpenBabylon, una empresa de inteligencia artificial que personaliza modelos de lenguaje grandes para lenguajes subrepresentados, llevan unos meses utilizando los planes de entrenamiento flexible de SageMaker HyperPod a fin de optimizar su acceso a los recursos de la GPU para ejecutar experimentos a gran escala. Con las capacidades de entrenamiento distribuido de varios nodos de SageMaker HyperPod, realizaron 100 experimentos de entrenamiento del modelo a gran escala y lograron resultados vanguardistas en la traducción del inglés al ucraniano. Este avance se logró a tiempo y de forma rentable, lo que demuestra la capacidad de SageMaker HyperPod para entregar con éxito proyectos complejos a tiempo y dentro del presupuesto.

“Con Amazon SageMaker HyperPod, creamos e implementamos los modelos fundacionales de nuestra plataforma de IA agéntica con el mismo procesamiento de alto rendimiento. El poder pasar del entrenamiento a la inferencia de forma tan fluida simplificó nuestro flujo de trabajo, redujo el tiempo de producción y garantizó un rendimiento uniforme en los entornos activos. Gracias a HyperPod pudimos pasar de experimentar a crear impacto en el mundo real con mayor velocidad y eficiencia”.

Laurent Sifre, cofundador y director de tecnología de H.AI

“Nos entusiasma usar la solución de observabilidad con un solo clic de Amazon SageMaker HyperPod. Nuestro personal sénior necesitaba información sobre cómo estamos utilizando los costosos recursos de GPU. Los paneles de Grafana prediseñados nos brindarán exactamente lo que necesitamos, pues podremos ver inmediatamente las métricas críticas, desde la utilización de la GPU para tareas específicas hasta el rendimiento del sistema de archivos (FSx para Lustre); todo esto sin tener que mantener ninguna infraestructura de monitoreo. Como alguien que aprecia el poder del lenguaje de consulta de Prometheus, me gusta el hecho de poder escribir mis propias consultas y analizar métricas personalizadas sin preocuparme por los problemas de infraestructura”.

Josh Wills, miembro del personal técnico de Datology AI

“Con SageMaker HyperPod y Trainium, nuestros investigadores experimentan con la misma rapidez con la que crea nuestra comunidad. No solo nos mantenemos al día con las tendencias musicales, sino que las estamos marcando”.

Randeep Bhatia, director de Tecnología de Splash Music

“Ampliamos nuestra asociación con AWS como socio de lanzamiento para la gobernanza de tareas de Amazon SageMaker HyperPod. Nuestra colaboración con AWS nos permitirá guiar a los clientes hacia los últimos avances tecnológicos y, al mismo tiempo, reducir los costos de las aplicaciones de IA generativa. Si combinamos las capacidades de gobernanza centralizada de SageMaker HyperPod y nuestra experiencia en proyectos de IA generativa, podemos ayudar a las empresas a aprovechar el valor de la IA generativa aún más rápido y así, mejorar la experiencia del cliente y aumentar el retorno de la inversión”.

Jennifer Jackson, Global Lead de Accenture AWS Business Group y Senior Managing Director

“Estamos encantados de colaborar con AWS como socio de lanzamiento para la gobernanza de tareas de Amazon SageMaker HyperPod. Gracias al trabajo en conjunto con AWS, ahora podemos ayudar a nuestros clientes a adoptar rápidamente los últimos avances tecnológicos y reducir los costos de sus aplicaciones de IA generativa. Si combinamos las capacidades de gobernanza centralizada de SageMaker HyperPod con la amplia experiencia de Slalom en IA y en la nube, podemos ofrecer experiencias de cliente excepcionales junto con un mayor retorno de la inversión”.

Jeff Kempiners, Managing Director del Centro de Excelencia (CoE) de Amazon de Slalom

“Nos complace colaborar con AWS como socio de lanzamiento para la gobernanza de tareas de SageMaker HyperPod. Juntos, podemos ayudar a nuestros clientes a reducir los costos de las aplicaciones de IA generativa y, al mismo tiempo, estar al tanto de los últimos avances tecnológicos. Si combinamos las capacidades de gobernanza centralizada de SageMaker HyperPod con la profunda experiencia en IA y nube de Rackspace, podemos transformar las experiencias de los clientes y mejorar su retorno de la inversión simultáneamente”.

Srini Koushik, President, AI, Technology and Sustainability de Rackspace Technology