Erste Schritte mit Trn2-Instances mit AWS Neuron

Bei Anthropic verlassen sich Millionen von Menschen täglich bei ihrer Arbeit auf Claude. Wir kündigen zwei wichtige Fortschritte bei AWS an: Erstens einen neuen „latenzoptimierten Modus“ für Claude 3.5 Haiku, der auf Trainium2 über Amazon Bedrock 60 % schneller läuft. Und zweitens Project Rainier – ein neuer Cluster mit Hunderttausenden von Trainium2-Chips, die Hunderte von Exaflops liefern, was über dem Fünffachen der Größe unseres vorherigen Clusters entspricht. Projekt Rainier wird dazu beitragen, sowohl unsere Forschung als auch unsere nächste Generation der Skalierung voranzutreiben. Für unsere Kunden bedeutet das mehr Intelligenz, niedrigere Preise und höhere Geschwindigkeiten. Wir entwickeln nicht nur schnellere KI, wir entwickeln vertrauenswürdige KI, die skalierbar ist.

Die Mosaic AI von Databricks ermöglicht es Unternehmen, hochwertige Agentensysteme zu entwickeln und einzusetzen. Es basiert nativ auf dem Data Lakehouse und ermöglicht es Kunden, ihre Modelle einfach und sicher an Unternehmensdaten anzupassen und genauere und domainspezifische Ergebnisse zu liefern. Dank der hohen Leistung und Wirtschaftlichkeit von Trainium können Kunden Modelltraining auf Mosaic AI zu niedrigen Kosten skalieren. Die Verfügbarkeit von Trainium2 wird für Databricks und seine Kunden ein großer Vorteil sein, da die Nachfrage nach Mosaic AI in allen Kundensegmenten und auf der ganzen Welt weiter steigt. Databricks, eines der größten Daten- und KI-Unternehmen der Welt, plant, TRN2 zu nutzen, um bessere Ergebnisse zu erzielen und die Gesamtbetriebskosten für seine Kunden um bis zu 30 % zu senken.

Wir bei poolside wollen eine Welt schaffen, in der KI den Großteil der wirtschaftlich wertvollen Arbeit und des wissenschaftlichen Fortschritts bestimmt. Wir glauben, dass Softwareentwicklung die erste wichtige Fähigkeit in neuronalen Netzwerken sein wird, die Intelligenz auf menschlicher Ebene erreicht, da wir Such- und Lernansätze in diesem Bereich am besten kombinieren können. Wir entwickeln Basismodelle, eine API und einen Assistenten, um die Leistungsfähigkeit generativer KI in die Hände (oder die Tastatur) Ihrer Entwickler zu bringen, um dies zu ermöglichen. Ein wichtiger Schlüssel zum Ermöglichen dieser Technologie ist die Infrastruktur, die wir für die Entwicklung und den Betrieb unserer Produkte verwenden. Mit AWS Trainium2 können unsere Kunden ihre Nutzung von poolside zu einem Preis-Leistungs-Verhältnis skalieren, das sich von dem anderer KI-Beschleuniger unterscheidet. Darüber hinaus planen wir, zukünftige Modelle mit Trainium2-UltraServern zu trainieren, was zu erwartenden Einsparungen von 40 % im Vergleich zu EC2-P5-Instances führen wird.

Das Ziel von Itaú Unibanco ist es, das Verhältnis der Menschen zu Geld zu verbessern, positive Auswirkungen auf ihr Leben zu haben und gleichzeitig ihre Transformationsmöglichkeiten zu erweitern. Wir bei Itaú Unibanco glauben, dass jeder Kunde einzigartig ist, und wir konzentrieren uns darauf, seine Bedürfnisse durch intuitive digitale Reisen zu erfüllen, die die Leistungsfähigkeit der KI nutzen, um sich ständig an ihre Verbrauchergewohnheiten anzupassen.

Wir haben AWS Trainium und Inferentia bei verschiedenen Aufgaben getestet, die von Standardinferenzen bis hin zu optimierten Anwendungen reichten. Die Leistung dieser KI-Chips hat es uns ermöglicht, wichtige Meilensteine in unserer Forschung und Entwicklung zu erreichen. Sowohl bei Batch- als auch bei Online-Inferenzaufgaben haben wir im Vergleich zu GPUs eine 7-fache Verbesserung des Durchsatzes festgestellt. Diese verbesserte Leistung treibt die Ausweitung von mehr Anwendungsfällen im gesamten Unternehmen voran. Die neueste Generation von Trainium2-Chips ermöglicht bahnbrechende Features für GenKI und öffnet die Tür für Innovationen bei Itaú.

Ninja ist ein umfassender KI-Agent für grenzenlose Produktivität: ein einfaches Abonnement, unbegrenzter Zugriff auf die weltbesten KI-Modelle sowie erstklassige KI-Fähigkeiten wie: Schreiben, Programmieren, Brainstorming, Bilderzeugung, Online-Recherche. Ninja ist eine agentenbasierte Plattform und bietet den „SuperAgent“, der eine Agentenmischung mit einer erstklassigen Genauigkeit verwendet, die mit Frontier-Basismodellen vergleichbar ist (und in einigen Kategorien sogar übertrifft). Die Agententechnologie von Ninja erfordert die leistungsstärksten Beschleuniger, um die einzigartigen Echtzeiterlebnisse zu bieten, die unsere Kunden erwarten. 

Wir freuen uns sehr über die Einführung von AWS TRN2, da wir glauben, dass es die besten Kosten pro Token und die schnellste Geschwindigkeit bietet, die derzeit für unser Kernmodell Ninja LLM möglich ist, das auf Llama 3.1 405B basiert. Die niedrige Latenz von Trn2 in Verbindung mit wettbewerbsfähigen Preisen und On-Demand-Verfügbarkeit ist erstaunlich. Wir freuen uns über die Ankunft von Trn2!

Das RICOH-Team für Machine Learning entwickelt Arbeitsplatzlösungen und digitale Transformationsservices zur Verwaltung und Optimierung des Informationsflusses in unseren Unternehmenslösungen.

Die Migration zu Trn1-Instances war einfach und unkompliziert. Wir konnten unser LLM mit 13B-Parametern in nur 8 Tagen vortrainieren, wobei wir einen Cluster von 4 096 Trainium-Chips verwendeten! Nach dem Erfolg, den wir mit unserem kleineren Modell gesehen haben, haben wir ein neues, größeres LLM auf Basis von Llama-3-Swallow-70B optimiert. Mithilfe von Trainium konnten wir unsere Trainingskosten um 50 % senken und die Energieeffizienz im Vergleich zur Verwendung der neuesten GPU-Maschinen in AWS um 25 % verbessern. Wir freuen uns, die neueste Generation von AWS-KI-Chips, Trainium2, zu nutzen, um unseren Kunden weiterhin die beste Leistung zu den niedrigsten Kosten zu bieten.

Was mir an der AWS-Neuron-NxD-Inference-Bibliothek am besten gefallen hat, ist die nahtlose Integration in PyTorch-Modelle. Der Ansatz von NxD ist einfach und benutzerfreundlich. Unser Team war in der Lage, HuggingFace-PyTorch-Modelle mit minimalen Codeänderungen in einem kurzen Zeitrahmen zu integrieren. Die Aktivierung erweiterter Features wie Continuous Batching und Speculative Decoding war unkompliziert. Diese Benutzerfreundlichkeit erhöht die Produktivität der Entwickler und ermöglicht es den Teams, sich mehr auf Innovationen und weniger auf Integrationsprobleme zu konzentrieren.

Refact.ai bietet umfassende KI-Tools wie die automatische Codevervollständigung auf Basis von Retrieval Augmented Generation (RAG), die genauere Vorschläge liefert, und einen kontextsensitiven Chat, der sowohl proprietäre als auch Open-Source-Modelle verwendet.

Kunden haben bei EC2-Inf2-Instances im Vergleich zu EC2-G5-Instances eine bis zu 20 % höhere Leistung und 1,5-mal höhere Token pro Dollar festgestellt. Die Optimierungsfunktionen von Refact.ai verbessern die Fähigkeit unserer Kunden, die einzigartige Codebasis und Umgebung ihrer Organisationen zu verstehen und sich an sie anzupassen. Wir freuen uns auch, die Funktionen von Trainium2 anbieten zu können, die unsere Workflows noch schneller und effizienter verarbeiten werden. Diese fortschrittliche Technologie wird es unseren Kunden ermöglichen, ihren Softwareentwicklungsprozess zu beschleunigen, indem sie die Produktivität der Entwickler steigert und gleichzeitig strenge Sicherheitsstandards für ihre Codebasis einhält.

KARAKURI entwickelt KI-Tools, um die Effizienz des webbasierten Kundensupports zu verbessern und das Kundenerlebnis zu vereinfachen. Zu diesen Tools gehören KI-Chatbots, die mit Funktionen der generativen KI ausgestattet sind, Tools zur Zentralisierung von häufig gestellten Fragen und ein E-Mail-Antwort-Tool, die alle die Effizienz und Qualität des Kundensupports verbessern. Mithilfe von AWS Trainium ist es uns gelungen, KARAKURI LM 8x7B Chat v0.1 zu trainieren. Für Startups wie uns müssen wir die Entwicklungszeit und die Kosten für das Training von LLMs optimieren. Mit der Unterstützung von AWS Trainium und dem AWS-Team konnten wir in kurzer Zeit ein LLM auf praktischem Niveau entwickeln. Durch die Einführung von AWS Inferentia waren wir außerdem in der Lage, einen schnellen und kostengünstigen Inferenzservice aufzubauen. Wir sind begeistert von Trainium2, weil es unseren Trainingsprozess revolutionieren wird, unsere Trainingszeit um das 2-fache reduzieren und die Effizienz auf ein neues Niveau bringen wird!

Mit dem Ziel, „den Mechanismus der Wertschöpfung neu zu erfinden und die Menschheit voranzubringen“, unterstützt Stockmark viele Unternehmen bei der Gründung und dem Aufbau innovativer Unternehmen, indem es modernste Technologie zur Verarbeitung natürlicher Sprache bereitstellt. Stockmarks neuer Datenanalyse- und -erfassungsservice namens Anews and SAT, ein Datenstrukturierungsservice, der die Nutzung generativer KI erheblich verbessert, indem er alle in einer Organisation gespeicherten Informationen organisiert, erforderte von uns ein Umdenken bei der Erstellung und Bereitstellung von Modellen zur Unterstützung dieser Produkte. Mit 256 Trainium-Beschleunigern haben wir Stockmark-13b entwickelt und veröffentlicht, ein großes Sprachmodell mit 13 Milliarden Parametern, das auf einem japanischen Korpusdatensatz von 220B-Token von Grund auf neu trainiert wurde. Trn1-Instances haben uns geholfen, unsere Trainingskosten um 20 % zu senken. Mithilfe von Trainium haben wir erfolgreich ein LLM entwickelt, das geschäftskritische Fragen für Fachleute mit beispielloser Genauigkeit und Geschwindigkeit beantworten kann. Diese Leistung ist besonders bemerkenswert angesichts der großen Herausforderung, vor der Unternehmen stehen, angemessene Rechenressourcen für die Modellentwicklung zu sichern. Angesichts der beeindruckenden Geschwindigkeit und Kostenreduzierung von Trn1-Instances freuen wir uns über die zusätzlichen Vorteile, die Trainium2 unseren Workflows und Kunden bieten wird.