AWS 기술 블로그

Category: Compute

백패커의 Amazon EKS 운영 최적화 여정 2부: 운영 심화 및 장애 대응 사례

백패커는 국내 최대 핸드메이드 마켓 플레이스인 아이디어스와 크라우드 펀딩 플랫폼 텀블벅를 운영하고 있습니다. 2022년 백패커는 지속적으로 성장 중인 서비스를 안정적이고 유연하게 운영하기 위하여 안정성, 확장성, 보안성, 비용절감, MSA 환경에 보다 친화적인 컨테이너 환경을 제공하는 Amazon EKS를 도입하여 현재까지 사용자에게 안정적으로 서비스를 제공하고 있습니다. 지난 블로그 <백패커의 Amazon EKS 운영 최적화 여정 1부: 운영 핵심 요소 […]

백패커의 Amazon EKS 운영 최적화 여정 1부: 운영 핵심 요소 최적화

백패커는 국내 최대 핸드메이드 마켓 플레이스인 아이디어스와 크라우드 펀딩 플랫폼, 텀블벅을 운영하고 있습니다. 2022년, 백패커는 지속적으로 성장 중인 서비스를 안정적이고 유연하게 운영하기 위하여 안정성, 확장성, 보안성, 비용절감, MSA 환경에 보다 친화적인 컨테이너 환경을 제공하는 Amazon EKS를 도입하여 현재까지 사용자에게 안정적으로 서비스를 제공하고 있습니다. 특히 아이디어스는 한국 서비스에서 글로벌 서비스로 확장되면서 인프라 서비스의 유연성이 점점 더 […]

AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기

배경 Airflow는 데이터 마트(Data Mart)를 포함한 데이터 파이프라인 구축 및 관리에서 매우 널리 사용되는 도구입니다. 이러한 Airflow에서 데이터 계보가 중요한 이유는 데이터의 출처와 변환 과정을 명확히 추적할 수 있어 데이터의 신뢰성을 보장하고, 문제 발생 시 원인을 빠르게 파악할 수 있기 때문입니다. 또한, 데이터 계보는 규제 준수와 감사 요구사항을 충족시키는 데 도움을 주며, 데이터 파이프라인의 변경이 […]

AWS Lambda와 PyIceberg 로 Amazon S3 Tables 시작하기

2024년 AWS re:Invent에서 Amazon S3 Tables가 새롭게 공개되었습니다. S3 Tables는 Amazon S3에 Apache Iceberg 형식의 테이블을 관리할 수 있는 완전 관리형 기능으로, 데이터 레이크 테이블 관리의 복잡성을 크게 줄여줍니다. Iceberg를 통해 S3에 저장된 데이터를 마치 데이터베이스 테이블처럼 다룰 수 있으며, Athena, EMR(Spark), Redshift, Glue 등 다양한 분석 엔진과 통합됩니다. 특히 S3 Tables를 활용하면 자체 관리하는 […]

Amazon DataZone에서 Custom Asset Type을 활용하여 외부 자산(Tableau) 통합 및 데이터 계보 관리하기

배경 데이터 중심 조직은 AWS 내 서비스와 Tableau, MicroStrategy 같은 외부 BI 도구를 함께 활용하는 하이브리드 환경에서 운영되는 경우가 많습니다. 이러한 환경에서 조직들은 다음과 같은 니즈를 가지고 있습니다. 통합 데이터 자산 카탈로그 : Tableau 대시보드와 같은 외부 자산도 함께 등록하여 모든 데이터 자산을 한 곳에서 검색 및 관리 End-to-End 데이터 계보(Lineage) : Tableau 대시보드가 어떤 […]

Amazon EBS 스냅샷으로부터 볼륨 생성을 위한 향상된 리소스 수준 권한 출시

이 글은 AWS Storage Blog에 게시된 Enhancing resource-level permission for creating an Amazon EBS volume from a snapshot by Emma Fu and Matt Luttrell를 한국어 번역 및 편집하였습니다. Amazon Elastic Block Store (Amazon EBS) 스냅샷은 애플리케이션 데이터 볼륨의 특정 시점 복사본을 생성하며, 이는 고객들이 새로운 볼륨을 생성할 때 기준점으로 활용할 수 있습니다. 이를 통해 다른 […]

Amazon EKS Auto Mode 시작하기

본 게시물은 AWS Container Blog에 게시된 “Getting started with Amazon EKS Auto Mode” by Sheetal Joshi을 한국어로 번역한 글입니다. 이 글은 Alex Kestner(Sr Product Manager, Amazon EKS), Ashley Ansari(Sr. Product Marketing Manager), Robert Northard(Principal GTM SSA Containers), Sheetal Joshi(Principal Solution Architect, Containers)가 공동 작성했습니다. 소개 컴퓨팅, 스토리지 및 네트워킹을 위한 쿠버네티스 클러스터 관리를 간소화하는 새로운 […]

AWS가 제공하는 완전관리형 병렬 파일시스템, Amazon FSx for Lustre – 2

이전 블로그에서는 병렬 파일시스템의 기본 개념과 특징 그리고 대표적인 병렬 파일시스템인 Lustre에 대해 살펴보았습니다. 또한 AWS에서 제공하는 완전 관리형 Lustre 파일시스템인 Amazon FSx for Lustre에 대해서도 알아보았습니다. 병렬 파일시스템은 무엇이고 왜 필요할까? 지구상에서 가장 인기있는 병렬 파일시스템, Lustre 파일시스템 알아보기 AWS가 제공하는 완전 관리형 병렬 파일시스템, Amazon FSx for Lustre – 1 이번 블로그는 시리즈의 […]

AWS 데이터 분석 서비스 기반 게임 레벨링 환경 구성 사례

개요 기존의 문제 상황 소규모 인디게임 개발사는 작은 규모와 한정된 자원에도 불구하고 창의성과 혁신성을 발휘하며 새로운 게임 경험을 선사합니다. 하지만 이러한 장점에도 불구하고, 게임 개발 과정에서 적지 않은 과제에 직면하곤 합니다. 특히 게임 출시 전 완성도를 높이기 위한 테스팅과 난이도 조정 작업은 매우 중요하지만, 인력이 부족한 인디 게임 스튜디오에서는 이러한 작업을 충분히 수행하기 어려운 상황입니다. […]

AWS가 제공하는 완전 관리형 병렬 파일시스템, Amazon FSx for Lustre – 1

이전 글에서는 병렬 파일시스템의 기본 개념과 특징, 그리고 대표적인 병렬 파일시스템인 Lustre에 대해 살펴보았습니다. 병렬 파일시스템은 무엇이고 왜 필요할까? 지구상에서 가장 인기있는 병렬 파일시스템, Lustre 파일시스템 알아보기 이번에는 AWS가 제공하는 완전 관리형 병렬 파일시스템 서비스인 Amazon FSx for Lustre를 알아보겠습니다. What is Amazon FSx for Lustre? 고성능 컴퓨팅(HPC) 환경에서는 대량의 데이터를 신속하게 처리해야 하며, 이를 […]