AWS Inferentia

Descubra cómo Karakuri ofrece IA de alto rendimiento y, al mismo tiempo, controla los costos con AWS Inferentia

Descubra cómo NetoAI logró una latencia de inferencia de 300 a 600 ms con AWS Inferentia2

Descubra cómo SplashMusic redujo la latencia de inferencia en
hasta 10 veces con AWS Inferentia

Nuestro equipo de Leonardo aprovecha la IA generativa para permitir a los profesionales y entusiastas de la creatividad producir recursos visuales con una calidad, velocidad y consistencia de estilo incomparables. Al usar AWS Inferentia2 podemos reducir nuestros costos en un 80 %, sin sacrificar el rendimiento, cambiando fundamentalmente la propuesta de valor que podemos ofrecer a los clientes, habilitando nuestras características más avanzadas a un punto de precio más accesible. También alivia las preocupaciones sobre el costo y la disponibilidad de capacidad para nuestros servicios auxiliares de IA, que son cada vez más importantes a medida que crecemos y escalamos. Es una tecnología clave para nosotros a medida que ampliamos los límites de lo que es posible con la IA generativa, lo que permite una nueva era de creatividad y poder expresivo para nuestros usuarios.

Pete Werner, director de IA, Leonardo.ai

Qualtrics diseña y desarrolla software de administración de experiencias.

En Qualtrics, nuestro objetivo es crear tecnología que elimine las deficiencias en la experiencia de los clientes, empleados, marcas y productos. Para lograrlo, desarrollamos complejos modelos de aprendizaje profundo multitarea y multimodal para lanzar nuevas características, como la clasificación de textos, etiquetado de secuencias, análisis del discurso, extracción de frases clave, extracción de temas, agrupación y comprensión de conversaciones de principio a fin. A medida que usamos estos modelos más complejos en más aplicaciones, el volumen de datos no estructurados crece y necesitamos soluciones optimizadas para la inferencia que puedan satisfacer estas demandas, como las instancias Inf2, para ofrecer las mejores experiencias a nuestros clientes. Nos entusiasma la llegada de las nuevas instancias Inf2, porque no solo nos permitirán alcanzar mayores rendimientos, al tiempo que reducen drásticamente la latencia, sino que también introducen características como la inferencia distribuida y el soporte mejorado de formas de entrada dinámicas, que nos ayudarán a escalar para satisfacer las necesidades de despliegue a medida que avancemos hacia modelos grandes y más complejos.

Aaron Colak, director de Core Machine Learning de Qualtrics

Finch Computing es una empresa de tecnología de lenguaje natural que proporciona aplicaciones de inteligencia artificial para clientes gubernamentales, de servicios financieros y de integración de datos.

Para satisfacer las necesidades de nuestros clientes de NLP en tiempo real, desarrollamos modelos de aprendizaje profundo de última generación que se escalan a grandes cargas de trabajo de producción. Tenemos que proporcionar transacciones de baja latencia y lograr altos rendimientos para procesar orígenes de datos globales. Hasta ahora, migramos muchas cargas de trabajo de producción a instancias Inf1 y logramos una reducción del 80 % en el costo con respecto a las GPU. Hoy en día, estamos desarrollando modelos más grandes y complejos que permitan obtener un significado más profundo del texto escrito. Muchos de nuestros clientes necesitan acceder a esta información en tiempo real y el rendimiento de las instancias Inf2 nos ayudará a ofrecer una latencia más baja y un mayor rendimiento en comparación con las instancias Inf1. Con las mejoras en el rendimiento de Inf2 y las nuevas características de Inf2, como la compatibilidad con tamaños de entrada dinámicos, mejoramos nuestra rentabilidad, elevamos la experiencia del cliente en tiempo real y ayudamos a nuestros clientes a obtener nuevos conocimientos de sus datos.

Franz Weckesser, arquitecto jefe de Finch Computing

Alertamos sobre muchos tipos de eventos en todo el mundo en muchos idiomas y en diferentes formatos (imágenes, video, audio, sensores de texto, combinaciones de todos estos tipos) desde cientos de miles de orígenes. Optimizar la velocidad y el costo dada esa escala es absolutamente fundamental para nuestro negocio. Con AWS Inferentia, hemos reducido la latencia de los modelos y hemos conseguido un rendimiento por dólar hasta 9 veces superior. Esto nos permitió aumentar la precisión de los modelos y expandir las capacidades de nuestra plataforma al desplegar modelos de aprendizaje profundo más sofisticados y procesar un volumen de datos cinco veces mayor, al mismo tiempo que mantenemos nuestros costos bajo control.

Alex Jaimes, científico jefe y vicepresidente senior de IA en Dataminr

Incorporamos el machine learning en muchos aspectos de Snapchat y el análisis de la innovación en este campo es una prioridad clave. Una vez que conocimos Inferentia, comenzamos a colaborar con AWS a fin de adoptar instancias Inf1/Inferentia que nos ayudaran con el despliegue de machine learning, incluidos el rendimiento y el costo. Comenzamos con nuestros modelos de recomendación y planificamos adoptar más modelos con las instancias Inf1 en el futuro.

Nima Khajehnouri, vicepresidente de Ingeniería, Snap Inc.

La plataforma de administración unificada de la experiencia del cliente impulsada por IA de Sprinklr (Unified-CXM) permite a las empresas recopilar y traducir los comentarios de los clientes en tiempo real a través de varios canales a información procesable, lo que resulta en una resolución proactiva de problemas, desarrollo de productos mejorado, marketing de contenido mejorado, mejor servicio al cliente y mucho más. Mediante el uso de Inf1 de Amazon EC2, pudimos mejorar significativamente el rendimiento de uno de nuestros modelos de procesamiento de lenguaje natural y mejorar el rendimiento de uno de nuestros modelos de visión artificial. Planificamos seguir usando Inf1 de Amazon EC2 para ofrecer mejores servicios a nuestros clientes globales.

Vasant Srinivasan, vicepresidente sénior de Ingeniería de Productos, Sprinklr

Autodesk potencia la tecnología cognitiva de nuestro asistente virtual con tecnología de IA, Autodesk Virtual Agent (AVA), con el uso de Inferentia. AVA responde más de 100 000 preguntas de clientes al mes gracias a la comprensión del lenguaje natural (NLU) y las técnicas de aprendizaje profundo para extraer el contexto, la intención y el significado de las consultas. Mediante el uso de Inferentia, podemos obtener un rendimiento 4,9 veces mayor que G4dn para nuestros modelos de NLU y planificamos ejecutar más cargas de trabajo en las instancias Inf1 basadas en Inferentia.

Binghui Ouyang, científico de datos principal, Autodesk

El uso del georradar y la detección de defectos visuales suele ser el campo de los topógrafos expertos. Una arquitectura basada en microservicios de AWS nos permite procesar los videos capturados por los vehículos de inspección automatizados y los inspectores. Al migrar nuestros modelos internos de las instancias tradicionales basadas en la GPU a Inferentia, pudimos reducir los costos en un 50 %. Además, pudimos ver mejoras de rendimiento cuando comparamos los tiempos con una instancia de GPU G4dn. Nuestro equipo planifica ejecutar más cargas de trabajo en las instancias Inf1 basadas en Inferentia.

Jesús Hormigo, director general de nube e IA, Screening Eagle Technologies

NTT PC Communications, un proveedor de soluciones de comunicaciones y servicios de red en Japón, es líder en telecomunicaciones en la introducción de nuevos productos innovadores en el mercado de tecnologías de la información y las comunicaciones.

NTT PC desarrolló AnyMotion, un servicio de plataforma de API de análisis de movimiento basado en modelos avanzados de ML de estimación de postura. Desplegamos nuestra plataforma AnyMotion en instancias Inf1 de Amazon EC2 mediante Amazon ECS para ofrecer un servicio de orquestación de contenedores totalmente administrado. Al desplegar nuestros contenedores AnyMotion en Inf1 de Amazon EC2, obtuvimos un rendimiento 4,5 veces mayor, una latencia de inferencia un 25 % menor y un costo un 90 % menor en comparación con las instancias de EC2 basadas en GPU de la generación actual. Estos resultados superiores mejorarán la calidad del servicio AnyMotion a escala.

Toshiki Yanagisawa, ingeniero de software en NTT PC Communications Inc.

Anthem es una de las principales compañías de seguros de salud de los EE. UU. Atiende las necesidades de atención médica de más de 40 millones de miembros en docenas de estados.

El ritmo de crecimiento del mercado de las plataformas digitales aún es extraordinario. La recopilación de información sobre este mercado es una tarea difícil debido a la gran cantidad de datos de las opiniones de los clientes y a su naturaleza desestructurada. Nuestra aplicación automatiza la generación de conocimientos procesables a partir de las opiniones de los clientes a través de modelos de lenguaje natural de aprendizaje profundo (Transformers). Nuestra aplicación hace un uso intensivo de la computación y se tiene que implementar de una manera muy eficiente. Desplegamos sin problemas nuestra carga de trabajo de inferencia de aprendizaje profundo en las instancias Inf1 de Amazon EC2 impulsadas por el procesador de AWS Inferentia. Las nuevas instancias Inf1 ofrecen un rendimiento dos veces mayor que el de las instancias basadas en GPU y nos han permitido optimizar nuestras cargas de trabajo de inferencia.

Numan Laanait y Miro Mihaylov, PhDs, científicos principales de IA y datos en Anthem