Amazon EMR on EKS, 이제 작업 실행 동시성 제어 지원
Amazon EMR on EKS를 사용하면 Apache Spark, Flink와 같은 오픈 소스 빅 데이터 프레임워크를 AWS EKS(Elastic Kubernetes Service) 클러스터에서 실행할 수 있습니다. 가상 클러스터에 작업을 제출하면, EKS 클러스터의 네임스페이스에 매핑되고 EMR on EKS가 애플리케이션의 패키징, 예약, 실행을 처리합니다. 오늘, EMR EKS의 작업 실행 승인 제어 기능을 발표하게 되어 기쁩니다. StartJobRun API의 작업 실행 동시성 및 백프레셔 신호를 지원합니다.
이번 출시로 이제 가상 클러스터에 동시 작업 제한을 설정하여 한 번에 실행되는 작업 실행 수와 대기열에서 대기할 수 있는 작업 수를 정밀하게 제어할 수 있습니다. PENDING/SUBMITTED 상태의 작업을 나타내는 논리적 대기열입니다. 이러한 제어 기능을 사용하면 멀티테넌트 공유 환경에서 공유 EKS 클러스터의 과부하를 차단하고, 노이즈가 심한 이웃 클러스터 예약 오류를 방지하여 수요가 많은 상황에서도 중요 워크로드가 예측 가능한 방식으로 실행되도록 할 수 있습니다. 가상 클러스터에 2가지 선택적 제한 사항을 구성할 수 있습니다. maxConcurrentJobRuns는 언제든 동시에 실행될 수 있는 최대 작업 수이며, maxInQueueJobRuns는 EMR on EKS가 수락했으나 아직 실행을 시작하지 않은 작업 실행에 대한 최대 대기열 깊이입니다. 대기열이 가득 차면 StartJobRun이 HTTP ValidationException을 반환하므로 단일 클러스터에 과부하가 걸리는 대신 트래픽을 다른 클러스터로 원활하게 분산하거나 다시 라우팅할 수 있습니다. DescribeVirtualCluster를 사용하면 언제든 현재 제한과 실시간 작업 수를 볼 수 있습니다. 기본적으로 제한이 적용되지 않으므로 옵트인할 때까지 기존 워크로드는 영향을 받지 않습니다.
동시 작업 제한은 EMR on EKS가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 시작하려면 가상 클러스터 관리를 참조하세요.