AWS Inferentia

Chaque puce Inferentia de première génération possède 4 NeuronCores de première génération, et chaque instance EC2 Inf1 possède jusqu’à 16 puces Inferentia. Chaque puce Inferentia2 possède 2 NeuronCores de deuxième génération et chaque instance EC2 Inf2 possède jusqu’à 12 puces Inferentia2. Chaque puce Inferentia2 offre une puissance de calcul pouvant atteindre 190 téra‑opérations en virgule flottante par seconde (TFLOPS) en précision FP16. La puce Inferentia de première génération possède 8 Go de mémoire DDR4 par puce et dispose également d’une grande quantité de mémoire sur puce. Chaque puce Inferentia2 est dotée de 32 Go de mémoire HBM, multipliant par 4 la capacité totale et offrant une bande passante mémoire jusqu’à 10 fois supérieure à celle d’Inferentia.

AWS Neuron SDK s’intègre nativement aux frameworks de ML les plus répandus, tels que PyTorch et TensorFlow. Avec AWS Neuron, vous pouvez utiliser ces frameworks pour déployer de manière optimale des modèles de DL sur les puces AWS Inferentia. De plus, Neuron est conçu pour limiter les modifications de code et éviter toute dépendance à des solutions propriétaires. Neuron vous aide à exécuter vos applications d’inférence pour la compréhension/le traitement du langage naturel (NLP), la traduction linguistique, la synthétisation de texte, la génération de vidéos et d’images, la reconnaissance vocale, la personnalisation, la détection des fraudes et bien plus encore, le tout sur les puces Inferentia.

La puce Inferentia de première génération prend en charge les types de données FP16, BF16 et INT8. Inferentia2 ajoute un support supplémentaire pour FP32, TF32, et le nouveau type de données configurable FP8 (cFP8) pour fournir aux développeurs plus de flexibilité afin d'optimiser la performance et la précision. AWS Neuron prend des modèles FP32 de haute précision et les convertit automatiquement en types de données de moindre précision, tout en optimisant la précision et les performances. La conversion automatique de précision (autocasting) accélère la mise sur le marché en supprimant la nécessité de réentraîner les modèles en basse précision.

Inferentia2 intègre des optimisations matérielles pour les tailles d’entrée dynamiques ainsi que pour les opérateurs personnalisés développés en C++. Inferentia2 prend également en charge l’arrondi stochastique, une méthode de probabilisation de l’arrondi qui permet d’atteindre à la fois de meilleures performances et une plus grande précision par rapport aux modes d’arrondi traditionnels.

Les instances Inf2 offrent jusqu’à 50 % plus de performance par watt que les instances Amazon EC2 comparables, grâce à leur conception spécifique et aux puces Inferentia2 sous‑jacentes, optimisées pour exécuter des modèles de deep learning à grande échelle. Les instances Inf2 vous aident à atteindre vos objectifs de durabilité lors du déploiement de modèles de très grande taille.