Amazon SageMaker Unified Studio, 이제 데이터 프로파일링 및 이상 탐지 지원
Amazon SageMaker Unified Studio가 이제 AWS Glue Data Quality 기반의 데이터 프로파일링 및 이상 탐지를 지원합니다. 데이터 관리자, 엔지니어, 분석가는 데이터의 통계 프로파일을 생성하여 데이터의 형태와 완전성을 파악하고 시간 경과에 따라 이러한 통계가 어떻게 변하는지 추적할 수 있습니다. 이상 탐지는 사전 정의된 임곗값이나 사용자 지정 규칙 없이도 언제 데이터 포인트가 과거 패턴에서 벗어나는지 파악하는 데 도움이 됩니다. 이러한 기능은 카탈로그 테이블의 저장 데이터와 Visual ETL 작업 내에 있는 전송 중 데이터 모두에 사용할 수 있습니다.
이번 출시로 카탈로그 테이블의 전용 데이터 프로파일 탭에 온디맨드 및 예약된 프로파일링이 제공되며, 데이터세트 수준 및 열 수준 통계를 컴퓨팅합니다. 프로파일 기록을 누적하는 과정에서 이상 탐지는 예상 동작의 기준을 만들고 예측 범위를 벗어나는 데이터 요소에 플래그를 지정합니다. 이 기능은 특정 임곗값을 인식하지 못하거나 시간 경과에 따라 예상값이 변경되어 고정된 규칙이 유효하지 않을 때 특히 유용합니다. 전송 중 데이터의 경우, Evaluate Data Quality 변환을 사용하여 Visual ETL 작업의 결과 페이지에서 동일한 프로파일링 통계와 이상 탐지를 사용할 수 있습니다.
이 기능은 Amazon SageMaker Unified Studio가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 자세한 내용은 Amazon SageMaker Unified Studio 설명서를 참조하세요.