Amazon EC2 P6e-GB200 UltraServers 출시 – 최고의 AI 성능을 위한 NVIDIA Grace Blackwell GPU 기반

오늘 Amazon Elastic Compute Cloud(Amazon EC2) P6e-GB200 UltraServers의 정식 출시를 발표합니다. 이 서버는 NVIDIA GB200 NVL72로 가속화되어 AI 학습 및 추론을 위한 최고의 GPU 성능을 제공합니다. Amazon EC2 UltraServers는 여러 EC2 인스턴스를 전용 고대역폭, 저지연 가속기 인터커넥트로 연결하여, 인스턴스 간에 빠르고 효율적인 데이터 처리를 지원합니다.

NVIDIA Grace Blackwell Superchips는 두 개의 고성능 NVIDIA Blackwell 텐서 코어 GPU와 Arm 아키텍처 기반의 NVIDIA Grace CPU를 NVIDIA NVLink-C2C 인터커넥트로 연결합니다. 각 Grace Blackwell Superchip은 10 페타플롭스(FP8, sparsity 미적용) 연산 성능과 최대 372GB의 HBM3e 메모리를 제공합니다. 슈퍼칩 아키텍처에서는 GPU와 CPU가 하나의 컴퓨트 모듈 내에 함께 배치되어, 기존 세대 EC2 P5en 인스턴스 대비 GPU와 CPU 간의 대역폭이 크게 향상됩니다.

EC2 P6e-GB200 UltraServers를 사용하면 하나의 NVLink 도메인 내에서 최대 72개의 NVIDIA Blackwell GPU를 활용할 수 있으며, 360 페타플롭스(FP8, sparsity 미적용) 연산 성능과 13.4TB의 고대역폭 메모리(HBM3e)를 사용할 수 있습니다. P6e-GB200 UltraServers는 AWS Nitro System 기반으로 동작하며, EC2 UltraClusters에 배포되어 수만 개의 GPU로 안전하고 안정적으로 확장할 수 있습니다.

EC2 P6e-GB200 UltraServers는 최대 28.8Tbps의 Elastic Fabric Adapter(EFAv4) 네트워킹을 제공합니다. EFA는 NVIDIA GPUDirect RDMA와 결합되어, 운영체제 우회를 통한 서버 간 저지연 GPU-to-GPU 통신을 가능하게 합니다.

EC2 P6e-GB200 UltraServers 사양
EC2 P6e-GB200 UltraServers는 NVLink를 통해 36개에서 72개 GPU까지 다양한 크기로 제공됩니다. 아래는 EC2 P6e-GB200 UltraServers의 주요 사양입니다.

P6e-GB200 UltraServers는 조 단위 파라미터 규모의 mixture of experts 모델, reasoning 모델 등 첨단 AI 모델의 학습 및 추론과 같이 가장 높은 컴퓨팅 및 메모리 집약적 AI 워크로드에 최적화되어 있습니다.

질의응답, 코드 생성, 비디오 및 이미지 생성, 음성 인식 등 다양한 에이전틱 및 생성형 AI 애플리케이션을 구축할 수 있습니다.

P6e-GB200 UltraServers 활용 사례
EC2 P6e-GB200 UltraServers는 EC2 Capacity Blocks for ML을 통해 댈러스 Local Zone에서 사용할 수 있습니다. 댈러스 Local Zone(us-east-1-dfw-2a)는 미국 동부(버지니아 북부) 리전의 확장입니다.

EC2 용량 블록을 예약하려면 Amazon EC2 콘솔에서 용량 예약을 선택하세요. Purchase Capacity Blocks for ML을 선택한 후, 원하는 전체 용량과 EC2 Capacity Block을 사용할 기간을 지정하여 u-p6e-gb200x36 또는 u-p6e-gb200x72 UltraServers를 예약할 수 있습니다.

용량 블록이 성공적으로 예약되면 선불로 결제되며, 구매 후 가격은 변동되지 않습니다. 결제는 EC2 용량 블록 구매 후 12시간 이내에 계정에 청구됩니다. 자세한 내용은 Amazon EC2 User Guide의 Capacity Blocks for ML을 참고하세요.

구매한 Capacity Block 내에서 인스턴스를 실행하려면 AWS Management Console, AWS Command Line Interface(AWS CLI), AWS SDK를 사용할 수 있습니다. 소프트웨어 측면에서는 AWS Deep Learning AMI로 시작할 수 있습니다. 이 이미지들은 PyTorch, JAX 등 자주 사용하는 프레임워크와 도구들이 사전 구성되어 있습니다.

EC2 P6e-GB200 UltraServers는 다양한 AWS 관리형 서비스와도 원활하게 통합됩니다. 예를 들면 다음과 같습니다.

• Amazon SageMaker Hyperpod는 관리형, 탄력적 인프라를 제공하여 P6e-GB200 UltraServers의 프로비저닝과 관리를 자동화하고, 동일 NVLink 도메인 내 사전 구성된 예비 용량으로 장애 인스턴스를 교체해 성능을 유지합니다.
• Amazon Elastic Kubernetes Services(Amazon EKS)는 하나의 관리형 노드 그룹이 여러 P6e-GB200 UltraServers에 걸쳐 노드로 확장될 수 있도록 하여, Kubernetes 클러스터 내에서 이들의 프로비저닝 및 수명 주기 관리를 자동화합니다. P6e-GB200 UltraServers를 위한 EKS 토폴로지 인식 라우팅을 활용하면, 분산 워크로드의 긴밀하게 연결된 컴포넌트들을 단일 UltraServers의 NVLink로 연결된 인스턴스 내에 최적으로 배치할 수 있습니다.
• Amazon FSx for Lustre 파일 시스템은 대규모 HPC 및 AI 워크로드에 필요한 수백 GB/s의 처리량과 수백만 초당 입출력 작업량(IOPS)으로 P6e-GB200 UltraServers에 데이터 액세스를 제공합니다. 대용량 데이터세트에 빠르게 접근하려면 최대 405TB의 로컬 NVMe SSD 스토리지 또는 Amazon Simple Storage Service(Amazon S3)를 통한 사실상 무제한의 경제적인 스토리지를 사용할 수 있습니다.

정식 출시
Amazon EC2 P6e-GB200 UltraServers는 오늘부터 댈러스 Local Zone(us-east-1-dfw-2a)에서 EC2 Capacity Blocks for ML을 통해 이용하실 수 있습니다. 자세한 내용은 Amazon EC2 요금 페이지를 참고하세요.

Amazon EC2 콘솔에서 Amazon EC2 P6e-GB200 UltraServers를 직접 사용해 보세요. 더 알아보려면 Amazon EC2 P6e 인스턴스 페이지를 방문하시고, AWS re:Post for EC2 또는 평소 이용하시는 AWS Support 채널을 통해 피드백을 보내주세요.

– Channy