Passa al contenuto principale

Amazon EC2

Istanze DL1 di Amazon EC2

Costo di addestramento ridotto per i modelli di Deep Learning

Perché scegliere le istanze Amazon EC2 DL1?

Le istanze DL1 di Amazon EC2 con tecnologia degli acceleratori Gaudi di Habana Labs (una società Intel) forniscono modelli di Deep Learning con costi di addestramento ridotti per i casi d'uso di elaborazione del linguaggio naturale, individuazione di oggetti e riconoscimento di immagini. Le istanze DL1 offrono un rapporto tra prezzo e prestazioni superiore del 40% rispetto alle attuali istanze EC2 basate su GPU per l'addestramento di modelli di Deep Learning.

Le istanze DL1 di Amazon EC2 dispongono di 8 acceleratori Gaudi, ciascuno con una memoria ad alta larghezza di banda (HBM) da 32 GB, una memoria di sistema da 768 GiB, processori personalizzati Intel Xeon scalabili di seconda generazione, una velocità effettiva di rete di 400 GB al secondo e 4 TB di archiviazione locale NVMe.

Le istanze DL1 includono l'Habana SynapseAI® SDK integrato con i migliori framework di machine learning come TensorFlow e PyTorch.

Puoi avviare facilmente le istanze DL1, utilizzando le AMI di AWS Deep Learning o gli AWS Deep Learning Containers o Amazon EKS ed ECS per le applicazioni containerizzate. Il supporto per le istanze DL1 su Amazon SageMaker arriverà presto.

Panoramica video sulle nuove istanze Amazon EC2 DL1

Vantaggi

Le istanze DL1 offrono un rapporto tra prezzo e prestazioni superiore del 40% rispetto alle nostre ultime istanze EC2 basate su GPU per l'addestramento di modelli di Deep Learning. Queste istanze hanno dei Gaudi Accelerator costruiti appositamente per addestrare modelli di Deep Learning. Puoi anche ottenere un ulteriore risparmio utilizzando EC2 Savings Plan per ridurre in maniera significativa il costo di addestramento dei tuoi modelli di Deep Learning.

Iniziare a utilizzare le istanze DL1 è facile per gli sviluppatori a prescindere dalla loro esperienza. Possono continuare a utilizzare i loro servizi di gestione del flusso di lavoro con le AMI di Deep Learning di AWS e i container di Deep Learning per muovere i primi passi con le istanze DL1. Gli utenti avanzati possono anche costruire dei kernel personalizzati per ottimizzare le prestazioni del loro modello utilizzando i Tensor Processing Core programmabili di Gaudi. (TPC). Grazie agli strumenti di Habana SynapseAI®, possono migrare facilmente i loro modelli esistenti in esecuzione su istanze basate su GPU o CPU direttamente su istanze DL1 con cambiamenti minimi di codice.

Le istanze DL1 supportano i principali framework di ML come TensorFlow e PyTorch e ti consentono di continuare a utilizzare i tuoi flussi di lavoro di ML preferiti. Puoi accedere a modelli ottimizzati come Mask R-CNN per l'identificazione di oggetti e BERT per l'elaborazione del linguaggio naturale nel repository GitHub di Habana per creare, addestrare e implementare velocemente i tuoi modelli. La vasta libreria di kernel perTensor Processing Core (TPC) di SynapseAI supporta un'ampia gamma di operatori e diversi tipi di dati per una serie di bisogni di modelli e prestazioni.

Caratteristiche

Le istanze DL1 sono alimentate dagli acceleratori Gaudi di Habana Labs (una società Intel), che dispongono di otto TPC completamente programmabili e 32 GiB di memoria a larghezza di banda elevata per acceleratore. Hanno un'architettura di calcolo eterogenea per massimizzare l'efficienza di addestramento e un motore centrale configurabile per le operazioni matematiche con le matrici. Contano anche sull'unica integrazione nativa di settore da dieci porte Ethernet da 100 Gigabit per ogni Gaudi accelerator per garantire una comunicazione a bassa latenza tra gli Accelerator.

Il SynapseAI® SDK è composto da un graph compiler e tempo di esecuzione, una libreria kernel di TPC, firmware, driver e strumenti. È integrato con i maggiori framework come TensorFlow e PyTorch. Le sue librerie di comunicazione aiutano a dimensionare rapidamente verso l'alto diversi accelerator utilizzando le stesse operazioni che utilizzi adesso per le istanze basate su GPU. Questo dimensionamento deterministico genera un maggiore utilizzo e una maggiore efficienza per un'ampia gamma di topologie di reti neurali. Con SynapseAI® tools, puoi integrare ed eseguere facilmente i tuoi modelli esistenti su istanze DL1 con cambiamenti di codice minimi.

Le istanze DL1 offrono una velocità effettiva di rete da 400 GB al secondo e una connettività ad Amazon Elastic Fabric Adapter (EFA) e Amazon Elastic Network Adapter (ENA) per le applicazioni che hanno bisogno di accedere alla rete ad alta velocità. Le istanze DL1 includono anche 4 TB di archiviazione locale NVMe e consentono di raggiungere una velocità effettiva di lettura di 8 GB al secondo per un accesso rapido a set di dati molto vasti.

Le istanze DL1 sono basate su AWS Nitro System, una ricca raccolta di componenti di base che trasferisce molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire prestazioni elevate, alta disponibilità e sicurezza, riducendo al contempo il sovraccarico della virtualizzazione.

Dettagli prodotto

Instance Size
vCPU
Instance Memory (GiB)
Gaudi Accelerators
Network Bandwidth (Gbps)
Accelerator Peer-to-Peer Bidirectional (Gbps)
Instance Storage (GB)
EBS Bandwidth (Gbps)
On-demand (Price/Hr)
1-yr Reserved Instance Effective Hourly
3-yr Reserved Instance Effective Hourly*
dl1.24xlarge

96

768

8

400

100

4 x 1000 
SSD NVMe

19

13,11 USD

7,87 USD

5,24 USD

*I prezzi mostrati sono validi nelle seguenti regioni: Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).

 

Seagate

Seagate Technology è stata un leader mondiale per 40 anni offrendo soluzioni di archiviazione e gestione dati. Gli ingegneri di data science e machine learning di Seagate hanno creato un sistema avanzato di rilevamento dei difetti con deep learning (DL) e lo hanno implementato a livello globale in tutti gli stabilimenti di produzione dell'azienda. In un recente progetto di Proof of concept, Habana Gaudi ha superato gli obiettivi prestazionali nell'addestramento di uno dei modelli DL di segmentazione semantica utilizzato attualmente nella produzione di Seagate. 

«Prevediamo che il significativo vantaggio in termini di prezzo e prestazioni delle istanze Amazon EC2 DL1, alimentate dagli acceleratori Habana Gaudi, possa costituire un'interessante aggiunta futura ai cluster di calcolo AWS. Mentre Habana Labs continua ad evolversi permettendo una maggiore copertura degli operatori, c'è il potenziale per espandersi verso ulteriori casi d'uso aziendali e quindi ottenere un ulteriore risparmio sui costi".

Darrell Louder, Senior Engineering Director of Operations, Technology and Advanced Analytics - Seagate
Missing alt text value

Leidos

Leidos è uno dei primi 10 fornitori di IT per la sanità e offre una vasta gamma di soluzioni personalizzabili e scalabili per ospedali, sistemi sanitari e organizzazioni biomediche, nonché per tutte le agenzie federali degli Stati Uniti che si occupano di salute. 

«Una delle numerose tecnologie che stiamo abilitando per far progredire l'assistenza sanitaria oggi è l'uso dell'apprendimento automatico e del deep learning per la diagnosi delle malattie basata sui dati di imaging medico. I nostri enormi set di dati necessitano di un addestramento tempestivo ed efficiente per aiutare i ricercatori che stanno cercando di risolvere alcuni degli urgenti casi medici più misteriosi. Considerata la necessità per Leidos e per i suoi clienti di un addestramento rapido, semplice ed economicamente sostenibile per i modelli di Deep Learning, siamo entusiasti di aver iniziato questo viaggio insieme a Intel e AWS per utilizzare le istanze DL1 di Amazon EC2 basate sui processori Habana Gaudi AI. Utilizzando le istanze DL1, prevediamo un aumento della velocità e dell'efficienza dell'addestramento dei modelli, con una conseguente riduzione del rischio e dei costi di ricerca e sviluppo. »

Chetan Paul, CTO Salute e Servizi Umani - Leidos
Missing alt text value

Intel

Intel ha creato una tecnologia di tracciamento 3D dell'atleta che analizza in tempo reale i video dell'atleta in azione per informare i processi di addestramento delle prestazioni e migliorare l'esperienza del pubblico durante le gare.

«L'addestramento dei nostri modelli su istanze Amazon EC2 DL1, alimentate dagli acceleratori Gaudi di Habana Labs, ci consentirà di elaborare in modo accurato e affidabile migliaia di video e generare dati sulle prestazioni associati, riducendo al contempo i costi di formazione. Con le istanze DL1, ora possiamo allenarci alla velocità e ai costi necessari per servire in modo produttivo atleti, squadre ed emittenti di tutti i livelli in una varietà di sport. »

Rick Echevarria, vicepresidente, gruppo vendite e marketing - Intel
Missing alt text value

Combustibile a rischio

RiskFuel fornisce valutazioni in tempo reale e sensibilità al rischio alle società che gestiscono portafogli finanziari, aiutandole ad aumentare la precisione e le prestazioni del trading.

«Due fattori ci hanno portato alle istanze Amazon EC2 DL1 basate sugli acceleratori AI Habana Gaudi. Prima di tutto volevamo essere sicuri che i nostri clienti delle assicurazioni e delle banche potessero eseguire i modelli Riskfuel che sfruttano gli hardware più recenti. Per fortuna migrare i nostri modelli verso le istanze DL1 è stato semplice e intuitivo, davvero, si è trattato solo di cambiare alcune linee di codice. In secondo luogo, i costi di formazione sono una componente importante della nostra spesa e la promessa di un miglioramento fino al 40% dell'andamento dei prezzi offre un vantaggio potenzialmente sostanziale ai nostri profitti. »

Ryan Ferguson, amministratore delegato - Riskfuel
Missing alt text value

Fractal


Fractal è un leader mondiale nel campo dell'intelligenza artificiale e dell'analisi dei dati, migliorando le scelte delle società Fortune 500.
 

«L'intelligenza artificiale e il deep learning sono al centro della nostra capacità di visione artificiale, consentendo ai clienti di prendere decisioni migliori in tutti i settori in cui operiamo. Per migliorare la precisione, i set di dati stanno diventando più grandi e complessi e necessitano di modelli più grandi e complessi. Questo sta spingendo la necessità di prestazioni e prezzi di calcolo migliorati. Le nuove istanze DL1 di Amazon EC2 promettono una riduzione significativa dei costi di addestramento rispetto alle istanze EC2 basate su GPU. Ci aspettiamo che ciò renda la formazione dei modelli di intelligenza artificiale sul cloud molto più competitiva in termini di costi e accessibile rispetto a prima per un'ampia gamma di clienti. »

Srikanth Velamakanni, CEO del gruppo - Fractal
Missing alt text value

Nozioni di base

Gli AWS Deep Learning AMI (DLAMI) e gli AWS Deep Learning Containers (DLC)

Gli AWS Deep Learning AMI (DLAMI) e AWS Deep Learning Containers (DLC) forniscono ai Data Scientist, a chi lavora con il ML e ai ricercatori le macchine e le immagini container preinstallate nei framework di Deep Learning per semplificare l'inizio facendoti saltare il complicato processo di creazione e ottimizzazione dei tuoi ambienti software da zero. Il SynapseAI SDK per i Gaudi Accelerator è integrato nei DL AMI e nei DLC di AWS permettendoti di iniziare velocemente a utilizzare le istanze DL1.

Amazon Elastic Kubernetes Service (EKS) o Elastic Container Service (ECS)

I clienti che preferiscono gestire i propri carichi di lavoro containerizzati tramite i servizi di orchestrazione dei container possono implementare le istanze DL1 con Amazon EKS o ECS.

Hai trovato quello che cercavi?

Facci sapere la tua opinione in modo da migliorare la qualità dei contenuti delle nostre pagine