AWS 기술 블로그
Category: Storage
Apache Iceberg Table Management작업에서 발생하기 쉬운Amazon S3 이슈 분석과 해결 방안
AWS에서 Apache Iceberg 테이블을 운영하며 테이블에 대한 유지보수 작업을 Apache Spark 혹은 Amazon EMR, AWS Glue를 통해 수행하는 경우가 많습니다. 특히 쿼리 성능 및 스토리지 사용량에 대한 최적화 혹은 Snapshot 관리를 위하여 expire_snapshots, remove_orphan_files , rewrite_manifests와 같은 Iceberg table의 metadata를 관리하기 위한 Spark procedure들을 사용하게 됩니다. 실제 고객 사례에서 Table management를 위한 Procedure 사용 중 몇가지 이슈를 […]
기업간 전자 문서 교환을 위한 AWS상에서의 EDI처리 자동화
EDI(전자 데이터 교환)는 기업 간에 비즈니스 문서와 정보를 표준화된 전자 형식으로 교환하는 시스템으로, 국내외에서도 다양한 분야에 도입되면서, 온라인 전자상거래, 주문 관리, ERP 등 다양한 시스템과의 연계도 활발해지고 있습니다. 하지만 아직도 많은 산업에서 내부 프로세스, 비용, 보안, 인력 부담, 그리고 기술적 문제등의 이유로 도입이 더딘 상태입니다. 대표적인 예시로 미국 건강보험품질위원회(CAQH)에 따르면 매년 보험금 청구의 약 10%, […]
SAP OData connection과 AWS Glue로 S3 Tables에서 SAP Data 활용하기
AWS Tech Blog ‘SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기’에서 AWS Glue OData 커넥터를 활용하여, SAP Data를 S3에 저장하고 Glue Data Catalog를 통해 Data를 활용하는 방법에 대해서 말씀드렸습니다. 이 블로그는 ‘SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기’의 내용을 기반으로 하고 있기 때문에, 이 블로그와 함께 꼭 읽어보시기를 추천드립니다. Amazon S3 Tables는 분석 워크로드에 […]
SAP BW 데이터를 AWS 클라우드로: CJ푸드빌의 데이터 중심 의사결정 혁신 여정
기업의 핵심 비즈니스 데이터의 보고(寶庫)인 SAP BusinessWarehouse(BW)를 AWS 클라우드와 연계하여 데이터 가치를 극대화하는 방법을 소개합니다. CJ푸드빌의 사례를 통해 기업 데이터 자산을 클라우드로 확장하는 전략과 기술적 접근법을 알아보세요. 고객사 및 프로젝트 개요 CJ푸드빌 소개 CJ푸드빌(CJ푸드빌 – Create the World of New Food Culture)은 CJ그룹의 F&B 전문 계열사로 ‘뚜레쥬르’, ‘빕스’, ‘제일제면소’, ‘더플레이스’ 등 다양한 브랜드를 보유하고 있으며, […]
알리는사람들의 Amazon Data Firehose로 Amazon DynamoDB를 Amazon S3 tables로 실시간 복제하기
개요 알리는사람들은 다양한 메시징 채널을 통합하여 기업의 커뮤니케이션을 자동화하고, 고객에게 정확한 메시지를 빠르게 전달할 수 있도록 돕는 테크 스타트업입니다. 인증, 마케팅, 알림 등 다양한 메시지 유형을 유연하게 다룰 수 있는 인프라를 바탕으로, 수많은 기업이 일상적인 고객 커뮤니케이션을 효율적으로 운영하고 있습니다. 센드온(Sendon)은 알리는사람들이 개발한 클라우드 네이티브 메시징 플랫폼으로, 대용량 메시지 전송에 최적화된 서버리스 아키텍처를 기반으로 운영됩니다. […]
Amazon S3 Tables이 압축을 사용하여 쿼리 성능을 최대 3배까지 개선하는 방법
이 글은 AWS Storage Blog에 게시된 How Amazon S3 Tables use compaction to improve query performance by up to 3 times by Aliaa Abbas, Anupriti Warade, and Jacob Tardieu 를 한국어 번역 및 편집하였습니다. 오늘날 페타바이트 규모의 데이터를 관리하는 기업들은 비용 효율성을 유지하면서 적시에 인사이트를 확보하기 위해 스토리지와 데이터 처리 과정을 최적화 해야 합니다. 고객들은 […]
AWS Lambda와 PyIceberg 로 Amazon S3 Tables 시작하기
2024년 AWS re:Invent에서 Amazon S3 Tables가 새롭게 공개되었습니다. S3 Tables는 Amazon S3에 Apache Iceberg 형식의 테이블을 관리할 수 있는 완전 관리형 기능으로, 데이터 레이크 테이블 관리의 복잡성을 크게 줄여줍니다. Iceberg를 통해 S3에 저장된 데이터를 마치 데이터베이스 테이블처럼 다룰 수 있으며, Athena, EMR(Spark), Redshift, Glue 등 다양한 분석 엔진과 통합됩니다. 특히 S3 Tables를 활용하면 자체 관리하는 […]
디프로모션의 DynamoDB, zero-ETL, ElastiCache Serverless 도입기
서비스의 간단한 소개 및 특징 브랜드의 중요한 순간을 함께 만들어가는 파트너. 디프로모션은 누구나 쉽고 빠르게 디지털 캠페인과 프로모션을 만들 수 있도록 돕는 서비스입니다. 직관적인 온라인 디자인 에디터를 통해 룰렛, 스크래치, 틀린그림찾기, 퀴즈, 래플 등 다양한 유형의 이벤트를 손쉽게 생성할 수 있으며, 당첨자 선정과 리워드 지급까지 하나의 플랫폼에서 관리하여 브랜드가 목표로 하는 마케팅 결과를 효과적으로 달성할 […]
위커스의 Amazon Rekognition Face-Liveness를 활용한 얼굴 생체 인식 기반 무인 키오스크 구현
위커스(We Connect Space) 회사 소개 위커스(We Connect Space)는 공간 운영의 핵심 데이터를 연결하여, 회원 관리, 결제·수납, 예약, 좌석 관리 등 필수 기능을 하나의 AIoT SaaS 솔루션으로 제공합니다. 당사의 SaaS 기반 공간 운영 솔루션 ‘고스카 (GOSCA)’는 15개 이상의 업종에서 디지털 전환을 지원하고 있습니다. 스터디카페(무인·관리형), 키즈카페, 무인 탁구장 등 소상공인 공간 운영을 시작으로, 고등학교, 창업센터, 복지센터 등 […]
Amazon EBS 스냅샷으로부터 볼륨 생성을 위한 향상된 리소스 수준 권한 출시
이 글은 AWS Storage Blog에 게시된 Enhancing resource-level permission for creating an Amazon EBS volume from a snapshot by Emma Fu and Matt Luttrell를 한국어 번역 및 편집하였습니다. Amazon Elastic Block Store (Amazon EBS) 스냅샷은 애플리케이션 데이터 볼륨의 특정 시점 복사본을 생성하며, 이는 고객들이 새로운 볼륨을 생성할 때 기준점으로 활용할 수 있습니다. 이를 통해 다른 […]