Amazon SageMaker Catalog

분석›
Amazon SageMaker›
Amazon SageMaker Catalog

Amazon SageMaker Catalog

데이터 및 AI를 안전하게 검색, 관리 및 협업

개요

Amazon SageMaker Catalog는 정형/비정형 데이터, AI 모델, 비즈니스 인텔리전스 대시보드, 애플리케이션 전반에서 데이터 및 AI에 대한 검색, 거버넌스, 협업을 간소화합니다. 생성형 AI가 생성한 메타데이터를 사용하는 시맨틱 검색으로 승인된 데이터 및 모델을 안전하게 검색하고 액세스할 수 있습니다. 아니면 그냥 Amazon Q Developer에 자연어로 질문하여 원하는 데이터를 찾을 수도 있습니다. 사용자는 Amazon SageMaker Unified Studio에서 중앙 집중식으로 세분화된 액세스 제어가 포함된 단일 권한 모델을 사용하여 액세스 정책을 일관되게 정의하고 적용할 수 있습니다. 간편한 게시/구독 워크플로를 통해 데이터 및 AI 자산을 원활하게 공유하고 협업합니다. 데이터 품질 모니터링, 데이터 분류, 데이터 및 AI 자산에 대한 엔드 투 엔드 자동 열 수준 리니지를 통해 조직 전반에 걸쳐 신뢰를 구축합니다.

장점

Amazon Datazone에 구축된 SageMaker Catalog를 사용하여 대규모로 데이터 및 AI 자산을 검색합니다. 비즈니스 컨텍스트에 맞게 데이터 및 메타데이터를 자동으로 보강하도록 생성형 AI로 데이터 검색을 개선합니다. 그러면 모든 사용자가 데이터를 더 쉽게 찾고 이해하고 사용할 수 있습니다. 테이블 및 열 이름 또는 비즈니스 용어집 용어로 필터링하여 데이터, AI 모델, 프롬프트, 생성형 AI 자산을 공유할 수 있습니다. 각 데이터세트에 대해 중요한 열 및 관련 분석 애플리케이션을 자동으로 추천하므로 적합한 데이터를 사용하여 적합한 모델을 신속하게 구축할 수 있습니다. 프로젝트를 통해 단일 경험에서 게시/구독 워크플로를 통한 원활한 데이터 및 AI 공유로 중앙 집중식 및 분산형 거버넌스 모델이 모두 지원됩니다.

SageMaker의 데이터 품질, 데이터 계보, ML 계보에 대한 실시간 가시성을 통해 신뢰를 확보합니다. 데이터 프로파일링 및 데이터 품질 권장 사항을 자동화하고, 데이터 품질 규칙을 모니터링하고, 경고를 수신합니다. 규칙 기반 및 ML 접근 방식을 사용하여 엔터티를 조정함으로써 발견하기 어려운 데이터 품질 문제를 해결합니다. 그러면 고품질 데이터를 기반으로 자신 있는 비즈니스 의사 결정을 내릴 수 있습니다. 편향을 감지하거나 특성이 모델 예측에 어떻게 기여하는지 보고하는 내장된 모델 모니터링이 데이터 파이프라인 및 AI 프로젝트의 투명성을 향상합니다.

데이터, 분석, AI 모델이 적절하게 사용되도록 SageMaker에서 세분화된 액세스 제어, 데이터 분류, 가드레일을 통해 데이터 및 AI 보안을 중앙 집중화합니다. 권한을 한 번 정의하고 데이터 및 모델 전체에 적용합니다. Amazon Bedrock이 기본적으로 통합되어 있으므로 고객은 유해 콘텐츠를 차단하고 할루시네이션을 필터링하고 개인 정보 보호, 안전성, 정확성을 위해 사용자 지정 가능한 보호 조치를 활성화하여 생성형 AI 애플리케이션에서 Amazon Bedrock 가드레일을 사용할 수 있습니다. Amazon Comprehend를 사용하여 파이프라인 내에서 민감한 정보를 자동으로 식별합니다.

데이터 사용과 모델 로깅 및 모니터링을 통해 감사 및 규정 준수를 충족할 수 있습니다. 프로젝트 기반 격리를 통해 기업 전체에서 분석 및 AI 자산의 적절한 사용을 지원합니다. 레이크하우스 전반의 데이터 및 모델 사용을 이해하여 보안을 강화할 수 있습니다. Amazon SageMaker Clarify를 사용하여 책임 있는 AI 표준에 따라 모델의 편향, 정확성, 강건성을 모니터링할 수 있습니다. 비즈니스 이니셔티브에 맞게 비용을 조정하고 비즈니스 투자를 명확하게 파악합니다.

기능

데이터 및 AI 카탈로그

단일 카탈로그에서 정형 데이터, 비정형 데이터, AI 모델, BI 대시보드 및 애플리케이션을 검색, 관리 및 협업합니다.

비즈니스 용어집

공유 비즈니스 정의와 사용자 지정 가능한 메타데이터 양식으로 용어를 표준화합니다. 제한된 분류 용어를 지원하여 민감한 데이터의 일관된 태깅을 적용하고 다운스트림 거버넌스 워크플로를 활성화합니다.

데이터 리니지

시스템 전반에서 데이터가 어떻게 이동하고 변경되는지 추적합니다. OpenLineage 호환 리니지는 사용자가 출처, 변환 및 소비 패턴을 이해하여 신뢰, 디버깅 및 거버넌스를 개선하는 데 도움이 됩니다.

데이터 품질 모니터링

AWS 및 타사 도구의 데이터 품질 지표를 봅니다. 소비자는 검색 시 신뢰와 컨텍스트를 얻고, 데이터 팀은 API를 통해 외부 품질 신호를 통합 포털에 모을 수 있습니다.

데이터 검색

기술 메타데이터를 비즈니스 컨텍스트로 보강하여 사용자가 데이터를 빠르게 찾고, 이해하고, 신뢰할 수 있도록 합니다.

자동 메타데이터 추천

LLM 기반 자동화를 사용하여 비즈니스 친화적인 이름과 설명을 생성하여 기술 자산의 컨텍스트, 일관성 및 명확성을 개선합니다.

시맨틱 검색

자연어 쿼리를 사용하여 데이터와 모델을 찾습니다. 시맨틱 검색은 키워드뿐만 아니라 사용자 의도, 컨텍스트 및 관계를 이해하여 더욱 관련성 있는 결과를 반환합니다.

BI 대시보드

대화형 대시보드, 픽셀 퍼펙트 보고서, 생성형 비즈니스 인텔리전스(BI)와 같은 Amazon Quick Suite 기능으로 SageMaker의 데이터를 통합하여 데이터에서 인사이트로 전환합니다. 이 모든 것이 관리되고 자동화된 방식으로 이루어집니다.

데이터 제품

관련 자산을 공유 메타데이터를 갖춘 비즈니스 중심 데이터 제품으로 패키징합니다. 거버넌스 팀이 제품 수준 사용량을 추적할 수 있도록 하는 동시에 검색을 개선하고, 액세스 요청을 통합하고, 관리 오버헤드를 줄입니다.

고객

Natera, Inc.

"Amazon QuickSight를 Amazon SageMaker와 통합함으로써, 저희 연구소 운영팀과 과학자들은 이제 모든 사이트의 임상 테스트 성능을 실시간으로 모니터링할 수 있습니다. 처리량, 품질 관리 지표, 처리 시간 등을 통합하는 대시보드를 개발하여 상세한 추세 분석과 지속적인 성능 최적화가 가능해졌습니다. 이제 과학자들은 탐색적 검토부터 모델 개발에 이르기까지 모든 포괄적인 데이터 분석을 단일 통합 환경 내에서 수행할 수 있습니다."

Mirko Buholzer, Natera, Inc., Software Engineering VP

Natera가 Amazon SageMaker 카탈로그를 활용하여 유전체학 규모를 확장하는 방법

Cisco

"우리는 데이터를 검색하고, 공유하고, 관리해야 합니다. 데이터 메시 또는 데이터 패브릭으로 불리는 이 데이터라는 것이 여러 팀의 여러 사일로에 존재하므로, 하나로 통합해야 합니다. Amazon SageMaker Catalog는 데이터 생산자와 소비자를 연결하므로 생산자는 내장된 제어 및 데이터 계약을 통해 데이터를 공유할 수 있는 동시에, 소비자가 원하는 도구를 사용하여 데이터에 액세스할 수 있습니다."

Shaja Arul Selvamani, Cisco AI/ML, Sr. Director

NatWest

"저희 데이터 플랫폼 엔지니어링 팀은 데이터 엔지니어링, ML, SQL, 생성형 AI 태스크를 위한 최종 사용자 도구를 여럿 배포해 왔습니다. 은행 전반의 프로세스를 단순화하기 위해 사용자 인증 및 데이터 액세스 권한 부여를 간소화하는 방안을 모색하고 있습니다. Amazon SageMaker는 바로 사용 가능한 사용자 경험을 제공하여 조직 전체에 단일 환경을 배포하여 데이터 사용자가 새 도구에 액세스하는 데 필요한 시간을 약 50% 단축합니다."

Zachery Anderson, NatWest Group CDAO