AWS Inferentia

Cada chip Inferentia de primera generación tiene cuatro NeuronCores de primera generación y cada instancia Inf1 de EC2 tiene hasta dieciséis chips Inferentia. Cada chip Inferentia2 tiene dos NeuronCores de segunda generación y cada instancia Inf2 de EC2 tiene hasta doce chips Inferentia2. Cada chip Inferentia2 admite hasta ciento noventa teraoperaciones de coma flotante por segundo de rendimiento FP16. La primera generación de Inferentia tiene 8 GB de memoria DDR4 por chip y también cuenta con una gran cantidad de memoria en el chip. Inferentia2 ofrece 32 GB de HBM por chip, lo que cuadriplica la memoria total y multiplica por diez el ancho de banda de la memoria con respecto a Inferentia.

El SDK AWS Neuron se integra de forma nativa con marcos de trabajo de machine learning populares como PyTorch y TensorFlow. Con AWS Neuron, puede usar estos marcos para desplegar de manera óptima modelos de DL en ambos chips AWS Inferentia, y Neuron está diseñado para minimizar los cambios en el código y la vinculación a soluciones específicas del proveedor. Neuron le ayuda a ejecutar sus aplicaciones de inferencia para la comprensión o el procesamiento de lenguaje natural (NLP), la traducción de idiomas, el resumen de textos, la generación de vídeos e imágenes, el reconocimiento de voz, la personalización, la detección de fraudes, y mucho más, en chips Inferentia.

La primera generación de Inferentia admite tipos de datos FP16, BF16 e INT8. Inferentia2 agrega soporte adicional para FP32, TF32 y el nuevo tipo de datos FP8 configurable (cFP8) a fin de proporcionar a los desarrolladores más flexibilidad para optimizar el rendimiento y precisión. AWS Neuron toma modelos FP32 de alta precisión y los convierte de forma automática en tipos de datos de menor precisión, al tiempo que optimiza la precisión y el rendimiento. La difusión automática reduce el tiempo de comercialización al eliminar la necesidad de un reentrenamiento de menor precisión.

Inferentia2 agrega optimizaciones de hardware para tamaños de entrada dinámicos y operadores personalizados escritos en C++. También admite el redondeo estocástico, una forma de redondear probabilísticamente que permite un alto rendimiento y una mayor precisión en comparación con los modos de redondeo heredados.

Las instancias de Inf2 ofrecen hasta un 50 % más de rendimiento por vatio en comparación con las instancias de Amazon EC2, ya que tanto ellas como los chips subyacentes Inferentia2 están diseñados para ejecutar modelos de DL a escala. Con las instancias de Inf2 podrá alcanzar sus objetivos de sostenibilidad cuando despliegue modelos ultragrandes.