AWS Glue | AWS 기술 블로그

SAP OData connection과 AWS Glue로 S3 Tables에서 SAP Data 활용하기

AWS Tech Blog ‘SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기’에서 AWS Glue OData 커넥터를 활용하여, SAP Data를 S3에 저장하고 Glue Data Catalog를 통해 Data를 활용하는 방법에 대해서 말씀드렸습니다. 이 블로그는 ‘SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기’의 내용을 기반으로 하고 있기 때문에, 이 블로그와 함께 꼭 읽어보시기를 추천드립니다. Amazon S3 Tables는 분석 워크로드에 […]

AWS Glue ETL을 활용한 CRM 데이터의 효율적인 병렬처리 전략

노티플라이는 CRM 마케팅 솔루션으로서, 100여 개 이상의 다양한 고객사들의 마케팅 캠페인을 집행하고 결과를 분석하는 기능을 제공하고 있습니다. 마케팅 성과를 보다 정확하고 빠르게 분석하기 위해 캠페인과 관련된 사용자 이벤트 데이터를 수집하고 집계하여 실시간에 가깝게 통계 데이터를 제공해야 합니다. 노티플라이는 다음과 같은 요구사항을 해결하기 위해 AWS 서비스들로 구성된 효율적인 ETL 파이프라인을 구축했습니다. 고객사별 캠페인 성과 데이터의 정기적인 […]

AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기

배경 Airflow는 데이터 마트(Data Mart)를 포함한 데이터 파이프라인 구축 및 관리에서 매우 널리 사용되는 도구입니다. 이러한 Airflow에서 데이터 계보가 중요한 이유는 데이터의 출처와 변환 과정을 명확히 추적할 수 있어 데이터의 신뢰성을 보장하고, 문제 발생 시 원인을 빠르게 파악할 수 있기 때문입니다. 또한, 데이터 계보는 규제 준수와 감사 요구사항을 충족시키는 데 도움을 주며, 데이터 파이프라인의 변경이 […]

SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기

이 글은 AWS Big Data Blog에 게시된 ‘Scaling RISE with SAP data and AWS Glue’를 번역했습니다. 고객은 종종 원본 SAP 데이터를 다른 소스 데이터로 확장하거나 보강하기를 원합니다. 이러한 분석 사용 사례는 데이터 웨어하우스 또는 데이터 레이크를 구축하여 구현할 수 있습니다. 이제 고객은 AWS Glue SAP OData 커넥터를 사용해 SAP에서 데이터를 추출할 수 있습니다. SAP OData […]