AWS Inferentia

Erfahren Sie, wie Karakuri mithilfe von AWS Inferentia leistungsstarke KI bereitstellt und gleichzeitig die Kosten unter Kontrolle hält

Erfahren Sie, wie netOAI mit AWS Inferentia2 eine Inferenzlatenz von 300–600 ms erreicht hat

Erfahren Sie, wie SplashMusic mit AWS Inferentia die Inferenzlatenz
um das bis zu 10-fache reduziert hat

Unser Team bei Leonardo nutzt generative KI, um Kreativprofis und -enthusiasten in die Lage zu versetzen, visuelle Inhalte mit unübertroffener Qualität, Geschwindigkeit und Stilkonsistenz zu produzieren. Mit AWS Inferentia2 sind wir in der Lage, unsere Kosten ohne Leistungseinbußen um 80 % zu senken, was das Wertversprechen, das wir unseren Kunden bieten können, grundlegend verändert, indem wir unsere fortschrittlichsten Features zu einem günstigeren Preis anbieten. Außerdem werden dadurch Bedenken hinsichtlich der Kosten und der Verfügbarkeit von Kapazitäten für unsere zusätzlichen KI-Dienste ausgeräumt, die mit unserem Wachstum und unserer Größe immer wichtiger werden. Sie ist eine Schlüsseltechnologie für uns, mit der wir die Grenzen dessen, was mit generativer KI möglich ist, weiter ausreizen und eine neue Ära der Kreativität und Ausdruckskraft für unsere Nutzer ermöglichen.

Pete Werner, Head of AI, Leonardo.ai

Qualtrics entwirft und entwickelt Software für das Erfahrungsmanagement.

Bei Qualtrics konzentrieren wir uns auf die Entwicklung von Technologien, die Erfahrungslücken für Kunden, Mitarbeiter, Marken und Produkte schließen. Um dies zu erreichen, entwickeln wir komplexe Multi-Task- und multimodale DL-Modelle, um neue Features einzuführen, wie z. B. Textklassifizierung, Sequenz-Tagging, Diskursanalyse, Extraktion von Schlüsselsätzen, Themenextraktion, Clustering und durchgängiges Gesprächsverständnis. Da wir diese komplexeren Modelle in immer mehr Anwendungen einsetzen, wächst das Volumen an unstrukturierten Daten, und wir benötigen leistungsfähigere, inferenzoptimierte Lösungen, die diesen Anforderungen gerecht werden, wie z. B. Inf2-Instances, um unseren Kunden die besten Erlebnisse zu bieten. Wir freuen uns über die neuen Inf2-Instances, weil wir damit nicht nur einen höheren Durchsatz erzielen und gleichzeitig die Latenzzeit drastisch reduzieren können, sondern auch Features wie verteilte Inferenz und verbesserte Unterstützung für dynamische Eingabeformen einführen, die uns bei der Skalierung helfen werden, um den Bereitstellungsanforderungen gerecht zu werden, wenn wir auf größere, komplexere große Modelle zusteuern.

Aaron Colak, Head of Core Machine Learning, Qualtrics

Finch Computing ist ein Technologieunternehmen für natürliche Sprache, das Anwendungen für künstliche Intelligenz für Behörden, Finanzdienstleistungen und Datenintegratoren anbietet.

Um den Bedürfnissen unserer Kunden nach Echtzeit-NLP gerecht zu werden, entwickeln wir hochmoderne DL-Modelle, die sich für große Produktions-Workloads skalieren lassen. Wir müssen Transaktionen mit niedrigen Latenzzeiten anbieten und hohe Durchsätze erreichen, um globale Datenströme zu verarbeiten. Wir haben bereits viele Produktions-Workloads auf Inf1-Instances migriert und dabei eine Kostenreduzierung von 80 % gegenüber GPUs erzielt. Jetzt entwickeln wir größere, komplexere Modelle, die eine tiefere, aufschlussreichere Bedeutung von geschriebenen Texten ermöglichen. Viele unserer Kunden benötigen den Zugang zu diesen Erkenntnissen in Echtzeit, und die Leistung der Inf2-Instances wird uns helfen, niedrigere Latenzzeiten und einen höheren Durchsatz als bei Inf1-Instances zu erzielen. Mit den Leistungsverbesserungen von Inf2 und den neuen Inf2-Features, wie der Unterstützung dynamischer Eingabegrößen, verbessern wir unsere Kosteneffizienz, erhöhen das Echtzeit-Kundenerlebnis und helfen unseren Kunden, neue Erkenntnisse aus ihren Daten zu gewinnen.

Franz Weckesser, Chief Architect, Finch Computing

Wir informieren über viele Arten von Ereignissen auf der ganzen Welt in vielen Sprachen und in verschiedenen Formaten (Bilder, Video, Audio, Textsensoren, Kombinationen all dieser Typen) aus Hunderttausenden von Quellen. Angesichts dieser Größenordnung ist die Optimierung im Hinblick auf Geschwindigkeit und Kosten für unser Geschäft von entscheidender Bedeutung. Mit AWS Inferentia haben wir die Modelllatenz gesenkt und einen bis zu 9-mal besseren Durchsatz pro Dollar erzielt. Dies hat es uns ermöglicht, die Modellgenauigkeit zu erhöhen und die Fähigkeiten unserer Plattform zu erweitern, indem wir anspruchsvollere DL-Modelle einsetzen und 5-mal mehr Datenvolumen verarbeiten konnten, während wir gleichzeitig unsere Kosten unter Kontrolle hielten.

Alex Jaimes, Chief Scientist und Senior Vice President of AI, Dataminr

Wir integrieren ML in viele Aspekte von Snapchat und die Erforschung von Innovationen in diesem Bereich hat für uns oberste Priorität. Als wir von Inferentia hörten, begannen wir, mit AWS zusammenzuarbeiten, um Inf1-/Inferentia-Instances einzuführen, die uns bei der Bereitstellung von ML helfen sollten, auch im Hinblick auf Leistung und Kosten. Wir haben mit unseren Empfehlungsmodellen begonnen und freuen uns darauf, in Zukunft weitere Modelle mit den Inf1-Instances einzuführen.

Nima Khajehnouri, VP Engineering, Snap Inc.

Die KI-gesteuerte Unified Customer Experience Management (Unified-CXM, einheitliches Kundenerlebnis-Management)-Plattform von Sprinklr ermöglicht es Unternehmen, Kundenfeedback in Echtzeit über mehrere Kanäle hinweg zu sammeln und in verwertbare Erkenntnisse umzuwandeln – mit dem Ergebnis einer proaktiven Problemlösung, einer verbesserten Produktentwicklung, eines verbesserten Content-Marketings, eines besseren Kundenservices und mehr. Mit Amazon EC2 Inf1 könnten wir die Leistung einer unserer NLP-Modelle wesentlich steigern und auch die Leistung eines unserer Computer-Vision-Modelle verbessern. Wir freuen uns darauf, weiterhin Amazon EC2 Inf1 zu verwenden, um unsere globalen Kunden besser unterstützen zu können.

Vasant Srinivasan, Senior Vice President of Product Engineering bei Sprinklr

Autodesk treibt die kognitive Technologie unseres KI-gestützten virtuellen Assistenten, Autodesk Virtual Agent (AVA), mit Hilfe von Inferentia voran. AVA beantwortet mehr als 100 000 Kundenfragen pro Monat durch Anwendung von natürlichem Sprachverständnis (NLU) und DL-Techniken, um den Kontext, die Absicht und die Bedeutung hinter den Anfragen zu extrahieren. Durch die Pilotierung von Inferentia sind wir in der Lage, einen 4,9-fach höheren Durchsatz als G4dn für unsere NLU-Modelle zu erzielen, und wir freuen uns darauf, mehr Workloads auf den Inferentia-basierten Inf1-Instances auszuführen.

Binghui Ouyang, Sr. Data Scientist, Autodesk

Der Einsatz von Bodenradar und die Erkennung visueller Mängel ist normalerweise die Domain von Vermessungsfachleuten. Eine auf Microservices basierende AWS-Architektur ermöglicht uns die Verarbeitung von Videos, die von automatischen Inspektionsfahrzeugen und Inspektoren aufgenommen wurden. Die Migration unserer hausintern erstellten Modelle von herkömmlichen GPU-basierten Instances zu Inferentia ermöglichte uns eine Kostenreduzierung um 50 %. Zudem konnten wir Leistungssteigerungen beim Vergleich der Zeiten mit einer G4dn-GPU-Instance feststellen. Unser Team freut sich darauf, mehr Workloads auf den Inferentia-basierten Inf1-Instances auszuführen.

Jesús Hormigo, Chief of Cloud and AI Officer, Screening Eagle Technologies

NTT PC Communications, ein Anbieter von Netzwerk-Services und Kommunikationslösungen in Japan, ist ein führendes Telekommunikationsunternehmen bei der Einführung neuer innovativer Produkte auf dem Informations- und Kommunikationstechnologie-Markt.

NTT PC hat AnyMotion entwickelt, einen API-Plattformservice zur Bewegungsanalyse, der auf fortschrittlichen ML-Modellen zur Haltungsschätzung basiert. Wir haben unsere AnyMotion-Plattform auf Amazon-EC2-Inf1-Instances mithilfe von Amazon ECS für einen vollständig verwalteten Container-Orchestrierungsservice bereitgestellt. Durch die Bereitstellung unserer AnyMotion-Container auf Amazon EC2 Inf1 konnten wir im Vergleich zu GPU-basierten EC2-Instances der aktuellen Generation eine 4,5-fach höhere Durchsatzrate, eine um 25 % niedrigere Inferenzlatenz und 90 % niedrigere Kosten erzielen. Diese hervorragenden Ergebnisse werden dazu beitragen, die Qualität der AnyMotion-Services im großen Maßstab zu verbessern.

Toshiki Yanagisawa, Software Engineer, NTT PC Communications Inc.

Anthem ist eines der führenden Unternehmen der Nation im Bereich der Gesundheitsfürsorge, das die Bedürfnisse von über 40 Millionen Mitgliedern in Dutzenden von Bundesstaaten erfüllt.

Der Markt der digitalen Gesundheitsplattformen wächst mit einer bemerkenswerten Geschwindigkeit. Das Sammeln von Informationen über diesen Markt ist aufgrund der riesigen Menge an Kundenmeinungsdaten und seiner unstrukturierten Natur eine schwierige Aufgabe. Unsere Anwendung automatisiert die Generierung von handlungsrelevanten Erkenntnissen aus Kundenmeinungen über natürlichsprachliche DL-Modelle (Transformers). Unsere Anwendung ist rechenintensiv und muss hochleistungsfähig bereitgestellt werden. Wir stellten unseren DL-Inferencing-Workload nahtlos auf Amazon-EC2-Inf1-Instances bereit, die mit dem AWS-Inferentia-Prozessor betrieben werden. Die neuen Inf1-Instances bieten einen 2-fach höheren Durchsatz für GPU-basierte Instances und ermöglichten es uns, unsere Inferenz-Workloads zu rationalisieren.

Numan Laanait and Miro Mihaylov, PhDs, Principal AI/Data Scientists, Anthem