Pular para o conteúdo principal

AWS HPC

Elastic Fabric Adapter

Execute aplicações de HPC e ML em grande escala

Elastic Fabric Adapter (EFA)

O Elastic Fabric Adapter (EFA) é uma interface de rede para instâncias do Amazon EC2 que permite aos clientes executar aplicações que exigem altos níveis de comunicação entre nós em grande escala na AWS. Sua interface de hardware personalizada fora do sistema operacional (SO) aumenta a performance das comunicações entre instâncias, o que é essencial para escalar esses aplicativos. Com o EFA, aplicativos de computação de alta performance (HPC) usando a Message Passing Interface (MPI) e aplicativos de machine learning (ML) usando a NVIDIA Collective Communications Library (NCCL) podem escalar para milhares de CPUs ou GPUs. Como resultado, você obtém a performance de clusters de HPC locais com a elasticidade e a flexibilidade sob demanda da Nuvem AWS.

O EFA está disponível como um recurso de redes opcional do EC2 e pode ser habilitado em qualquer instância compatível com o EC2 sem custo adicional. Além disso, ele funciona com as interfaces, as APIs e as bibliotecas mais usadas para comunicações entre nós a fim de que você possa migrar suas aplicações de HPC para a AWS com pouca ou nenhuma modificação.

Performance do EFA

O EFA fornece uma melhoria de quatro vezes na escala em relação ao ENA para uma simulação de CFD padrão, conforme apresentado no gráfico acima.

O solucionador para esta avaliação comparativa foi fornecido pela Metacomp Technologies

AWS Customer CFD Direct

O AWS Customer CFD Direct mantém a plataforma conhecida OpenFOAM para a dinâmica dos fluidos computacional e também gera o CFD Direct From the Cloud (CFDDFC), uma oferta do AWS Marketplace que facilita a execução do OpenFOAM na AWS. A empresa tem testado e comparado o EFA e recentemente compartilhou as medições em uma publicação do blog intitulada “OpenFOAM HPC with AWS EFA” (OpenFOAM de HPC com o AWS EFA). Na publicação, ela relata simulações da aerodinâmica externa ao redor de um carro. Essa simulação é escalada extralinearmente para mais de 200 núcleos, diminuindo gradualmente para uma escala linear em mil núcleos (cerca de 100 mil células de simulação por núcleo).

Como funciona

Missing alt text value

Casos de uso

Recursos

Now Available – Elastic Fabric Adapter (EFA) for Tightly-Coupled HPC Workloads

29 de abril de 2019

AWS re:Invent 2018: Scaling HPC Applications on EC2 w/ Elastic Fabric Adapter

Nesta palestra do re:Invent 2018, apresentamos o Elastic Fabric Adapter e analisamos como o EFA aprimora a rede entre instâncias no Amazon EC2

Deep Dive on OpenMPI and Elastic Fabric Adapter (EFA)

Nesta palestra técnica, nos aprofundaremos no OpenMPI e em seu suporte específico para o EFA do Amazon EC2 e mostraremos como obter o máximo aproveitamento de seu código e arquitetar sua solução para aprimorar a performance.

Conceitos básicos do Elastic Fabric Adapter (EFA)

Neste tutorial, você criará uma AMI e um grupo de segurança habilitados para o EFA e, em seguida, executará instâncias habilitadas para o EFA em um grupo de posicionamento de cluster usando essa AMI e esse grupo de segurança.