Amazon Web Services 한국 블로그
Amazon EC2 스팟 인스턴스를 통한 EMR 기반 Apache Spark 활용 10가지 모범 사례
Apache Spark는 사용 편의성, 빠른 성능, 메모리 및 디스크 사용률과 내결함성 등 다양한 이유로 가장 인기 있는 오픈소스 빅데이터 분석 플랫폼이 되었습니다. 이러한 기능은 인스턴스의 폐기 및 삭제가 가능한 클라우드 컴퓨팅의 개념과 매우 깊은 관련이 있습니다. Amazon EMR은 EC2 인스턴스를 사용하여 방대한 양의 데이터를 쉽고 빠르고 경제적으로 처리할 수 있는 관리형 하둡 프레임워크를 제공합니다. Amazon […]
마켓컬리, AWS 기반 신선 식품 샛별 배송 서비스 구현 사례
마켓컬리는 신선식품을 이른 아침에 고객에게 전달하는 샛별 배송을 통해 한국에서 엄청난 성공을 거두고 있는 스타트업입니다. ■ 샛별 배송 서비스란? 마켓컬리의 배송 담당 기사의 업무는 저녁 8시에 시작됩니다. 이들은 출근을 하자마자 당일 배송해야 할 해당 권역의 상품을 싣습니다. 배송 관리 시스템은 마켓컬리가 고객과 약속하고 있는 ‘아침 7시까지 배송 완료’ 정책을 지킬 수 있도록 서울과 수도권 지역 […]
AWS 파트너 솔루션 파인더 한국어 지원 시작
AWS 고객들이 APN 파트너사를 쉽게 검색하고 파트너사의 정보를 확인할 수 있는 도구인 AWS 파트너 솔루션 파인더가 한국어 지원을 시작했습니다. 이를 통해, AWS 고객들은 한국어 키워드로 APN 파트너사를 검색하고, APN 파트너사 정보를 한국어로 확인할 수 있습니다. 또한 파트너사의 전문성, 고객사례, APN 프로그램 인증 등의 필터도 파트너 검색시에 활용이 가능합니다. 검색된 결과는, AWS 서비스제공 프로그램 , AWS […]
AWS .NET SDK를 통해 게임 개발 시작하기
국내외 많은 글로벌 게임 회사는 AWS가 제공하는 확장성을 통해 수백만 명의 동시 플레이어를 지원하고 언제 어디서나 낮은 지연 시간으로 최적의 게임 경험을 즐길 수 있습니다. 하지만, 다양한 AWS 서비스와 많은 유스 케이스로 인해 게임 개발자가 손 쉽게 게임 개발을 시작하는 방법은 여전히 쉽지 않습니다. 이 글에서는 게임 개발 시, AWS를 사용하는 첫 단계를 안내합니다. AWS […]
Amazon EMR 클러스터 탄력성에 따른 Spark 노드 손실 문제 해결 방법
AWS 고객은 Amazon EMR의 클러스터 탄력성을 활용하여 작업량에 따라 사용 인스턴스 수를 조정해서 비용을 절감할 수 있습니다. 특히, EC2 스팟 인스턴스를 사용하면, 빠르게 끝나는 작업에 대해서 80-90%의 저렴한 비용으로 작업을 할 수 있습니다. 또한, Amazon EMR의 오토 스케일링 기능을 통해 고객은 클러스터 사용이나 기타 작업 관련 지표에 따라 클러스터를 동적으로 확장 및 축소 할 수 […]
Parquet 형식의 EMRFS S3 최적화 커미터를 통한 Apache Spark 쓰기 성능 개선하기
EMRFS S3 최적화 커미터는 Amazon EMR 5.19.0부터 Apache Spark 작업에 사용할 수 있는 새로운 출력 커미터입니다. 이 커미터는 EMRFS(EMR 파일 시스템)을 사용하는 Amazon S3에 Apache Parquet 파일을 쓸 때의 성능을 개선합니다. 이 게시물에서는 최근 성능 벤치마크를 실행하여 신규 최적화된 커미터를 기존 커미터 알고리즘(FileOutputCommitter 알고리즘 버전 1 및 2)과 비교하여 어떻게 Spark 쓰기 성능이 개선되었는지 알아봅니다. […]
AWS Fargate, Fluentd 및 Amazon Kinesis Data Firehose를 사용한 확장형 로그 솔루션 집계기 구축하기
최신 분산 애플리케이션들은 매일 기가바이트 수준의 로그 데이터를 생산해 낼 수 있는데, Amazon S3에서 Elasticsearch에 이르는 수많은 솔루션을 활용하면 이에 대한 분석과 스토리지 처리는 비교적 어렵지 않게 구현할 수 있지만 로그를 안정적으로 집계하고 최종 대상까지 전송하는 것은 여전히 어려운 영역에 속합니다. 이 게시물에서는 AWS Fargate, Amazon Kinesis Data Firehose 및 Fluentd를 사용하여 로그 집계기를 구축하는 […]
AWS 비용 최적화 – 리디북스의 예약 인스턴스 활용 사례
AWS는 클라우드 컴퓨팅을 활용하여 인프라 운영 및 관리에 자원을 분산하지 않으면서도 최신 IT 기술을 골라 적용함으로써 고객이 실제 비즈니스 핵심 역량에만 집중할 수 있게 도와 드리고 있습니다. 빠른 속도로 시장의 요구에 맞게 움직일 수 있다는 장점 뿐만 아니라, 초기 투자 없이 사용한 만큼만 금액을 지불함으로써 얻는 비용 절감은 AWS 클라우드의 큰 이점 중 하나입니다. 대부분의 […]
AWS Batch 및 Amazon FSx for Lustre 기반 다중 노드 병렬 작업을 통한 확장 가능한 딥 러닝 학습 방법
Toyota Research Institute는 지난 AWS re:Invent 2018에서 딥러닝을 위한 고성능 컴퓨팅 아키텍처를 발표했습니다. 이는 올해 초 출시된 확장 가능한 딥 러닝 고성능 컴퓨팅(HPC) 솔루션을 위한 참조 아키텍처를 기반으로 했습니다. 본 아키텍처는 Apache MXNet 및 TensorFlow 프레임워크에서 ImageNet 및 ResNet-50 벤치마크를 실행하도록 설계되었습니다. AWS가 제공하는 확장성과 탄력성을 활용하기 위해 다양한 클라우드 모범 사례를 사용했습니다. AWS의 혁신 […]
대규모 글로벌 게임 서버 운영을 위한 최대 90% 저렴한 EC2 스팟 인스턴스 활용기
Fortnite: Battle Royale, Warframe 및 Apex Legends를 비롯한 다수의 성공적인 비디오 게임에는 플레이어가 게임의 일부에 무료로 액세스할 수 있는 부분 유료화 모델이 사용되어 왔습니다. 이러한 부분유료화 게임들의 품질이 결코 낮지 않으며 유료 게임과 동일한 수준을 요구받습니다. Amazon EC2 스팟 인스턴스는 비용 제약이 많은 이와 같은 비즈니스 모델에 저렴하지만 현실적인 컴퓨팅 옵션을 제공합니다. 캐주얼 멀티플레이어 게임에는 […]