SAP BW 데이터를 AWS 클라우드로: CJ푸드빌의 데이터 중심 의사결정 혁신 여정

기업의 핵심 비즈니스 데이터의 보고(寶庫)인 SAP BusinessWarehouse(BW)를 AWS 클라우드와 연계하여 데이터 가치를 극대화하는 방법을 소개합니다. CJ푸드빌의 사례를 통해 기업 데이터 자산을 클라우드로 확장하는 전략과 기술적 접근법을 알아보세요.

고객사 및 프로젝트 개요

CJ푸드빌 소개

CJ푸드빌(CJ푸드빌 – Create the World of New Food Culture)은 CJ그룹의 F&B 전문 계열사로 ‘뚜레쥬르’, ‘빕스’, ‘제일제면소’, ‘더플레이스’ 등 다양한 브랜드를 보유하고 있으며, 국내 천여 개 매장 운영과 더불어 해외 시장으로의 활발한 확장을 통해 외식 산업 전반에서 경쟁 우위를 확보하고 있습니다. 최근 디지털 트랜스포메이션(Digital Transformation, DX)을 가속화하며, 정형/비정형 데이터를 포괄하는 통합 분석 기반의 경영 전략 수립을 위한 데이터 인프라 고도화에 집중하고 있습니다. 특히, AWS 기반 클라우드 플랫폼 상의 확장 가능한 데이터 아키텍처 도입과 AI/ML 모델의 내재화를 통해 데이터 기반 의사결정 체계를 전략적으로 강화하고 있습니다.

프로젝트 배경

현대 기업의 가장 귀중한 자산 중 하나는 SAP 시스템에 축적된 방대한 비즈니스 데이터입니다. 이러한 데이터는 단순한 기록을 넘어 기업의 핵심 운영 정보를 담고 있으며, 수년에 걸쳐 쌓인 귀중한 비즈니스 인텔리전스의 원천입니다. 그러나 대부분의기업들이 SAP에 저장된 이 ‘디지털 금광’을 온전히 활용하지 못하고 있는 실정입니다.

기존 환경의 문제점 및 도전 과제

기존 CJ푸드빌의 SAP BW 데이터 환경은 확장이 어려운 폐쇄적인 네트워크 구조였습니다. 보유한 데이터는 SAP BW를 중심으로 한 시스템별로 분산된 데이터 구조를 가지고 있었으며, 외부의 유의미한 데이터(소셜, 상권 등)와의 연계가 매우 어려웠습니다. 이러한 제한적인 데이터 사용 환경은 빠르게 변화하는 외식 산업에서 경쟁력을 유지하기 위한 데이터 기반 의사결정을 어렵게 만들었습니다.
또한 외식 브랜드를 운영하는 기업 특성상 매장 운영 데이터에는 판매 실적, 재고, 고객 정보 등 민감한 정보가 많아, 이를 클라우드 환경으로 이전할 때 철저한 데이터 보안관리가 필요했습니다. 이러한 이유로 CJ푸드빌은 내부 보안망 환경 아래 AWS 기반의 클라우드 아키텍처 설계를 통해 안전한 DW 구축을 추진하였습니다.
특히 SAP 플랫폼은 그 독자적인 기술 체계로 인해 외부 시스템과의 통합이 본질적으로 제한적이고 복잡한 특성을 가지고 있습니다. SAP의 API나 인터페이스는 충분히 개방되어 있지 않아 비SAP 솔루션이나 AWS와 같은 새로운 디지털 기술과의 연계가 매우 어려웠고, 이로 인해 기업의 디지털 전환 과정에서 큰 장애물이 되었습니다. CJ푸드빌 역시 SAP BW 데이터를 전사 분석 플랫폼으로 연계하는 과정에서 이러한 기술적 도전에 직면했습니다.
이와 함께 해결해야 할 과제로는 SAP를 비롯한 온프레미스 시스템의 데이터를 Public Cloud로 안정적으로 연계/연동하는 문제와, CSV, 로그 파일, DB 테이블 등 다양한 포맷과 구조를 갖는 대용량 데이터의 효과적인 처리 방안이 있었습니다. 그리고 단순히 기술자만을 위한 솔루션이 아닌, 일반 사용자도 간단한 교육과 실습을 통해 직접 데이터를 추출하고 분석할 수 있는환경을 제공하는 것도 중요한 목표였습니다.

고객 요구사항 및 주요 과제

기술적/비즈니스적 요구사항

CJ푸드빌이 전사 데이터를 통합하기 위해 AWS 클라우드 환경에서 전사 통합 데이터 플랫폼 구축하기 위한 요구사항은 다음과 같습니다:
첫째, SAP BW의 핵심 비즈니스 데이터를 클라우드로 해방시키는 것이 최우선 과제였습니다. SAP BW로부터 핵심 데이터를포함하여, 향후 내부 시스템에서 발생하는 모든 데이터를 추출해 클라우드 스토리지로 전송함으로써, 기존 온프레미스 시스템에 종속된 데이터 처리 방식에서 벗어나고자 했습니다. 이는 단순한 시스템 변경이 아닌, 기업의 귀중한 데이터 자산을 활용가능한 형태로 전환하는 전략적 결정이었습니다. 이를 통해 Cloud 환경에서의 유연한 데이터 활용이 가능한 기반을 마련하고자 했습니다.
둘째, 이렇게 전송된 데이터를 유연한 형태로 저장하고 관리하는 환경이 필요했습니다. 전송된 데이터는 Cloud Storage 상에 저장되어 데이터 레이크(Data Lake)를 구성하게 되며, 다양한 유형과 형식의 데이터를 정형/비정형 구분 없이 저장함으로써, 향후 분석 요구나 시스템 확장 시에도 유연하게 대응할 수 있는 환경을 구축하는 것을 목표로 삼았습니다.
셋째, 분석에 최적화된 데이터 구조화가 요구되었습니다. 데이터 레이크에 저장된 정보는 DW로 적재되며, 증분 데이터를 기준으로 테이블이 구성되고, 업무 분석에 적합한 스키마로 정제됩니다. 이를 통해 정형화된 분석 환경을 제공하고, SAP 데이터의 가치를 극대화할 수 있는 고도화된 데이터 분석 기반을 확보하고자 했습니다.
이러한 기본 방향과 함께 CJ푸드빌은 전사 통합 데이터 분석 플랫폼 구축을 위한 성능면에서 안정적이고 운영 환경에 효과적인 SAP 데이터 파이프라인 구축 방안이 필요했습니다.

프로젝트 목표

이를 위해 CJ푸드빌은 다음과 같은 구체적인 목표를 설정했습니다:

클라우드 기반 인프라 구축으로 운영 효율성과 안정적 운영 환경 마련
- Snowflake 클라우드 DW 구축으로 유연한 확장성과 효율적인 운영 체계를 확보
- ETL 자동화 도구를 도입해 레거시 시스템 데이터 추출, 전환, 적재 과정을 자동화
- 외부 API 연동을 통해 외부 데이터 자동 수집 및 확장 가능한 구조 구현
- VPN 및 VPC endpoint 기반의 Private Network 설계로 내부망 중심의 안정적인 운영 환경 구축
전사 및 외부 데이터 통합 관리로 데이터 활용 확대와 분석 효율성 제고
- 분산된 사일로(Silo) 데이터를 DW에 통합하여 고객, 제품, 매장, 생산, 마케팅 등 주요 데이터를 유기적으로 연계 분석 가능
- 수작업 중심의 데이터 가공 및 집계 작업을 최소화하여 분석 효율과 데이터 정합성 강화
AI/ML 기반 분석 체계 내재화로 자동화된 분석 환경 구축 및 비즈니스 실질 활용 기반 마련
- DW 내 데이터 활용하여 학습 데이터 생성부터 모델 실행, 결과 활용까지 자동화된 End-to-End 분석 환경 구현
- AI 수요예측 모델을 통해 점포별 수요 패턴, 품절 시간, 추천 생산량 등을 도출하고, Tableau와 연계하여 매장운영 의사결정에 활용
- 네이버 플레이스 리뷰 등 VOC 데이터를 자연어 처리로 분석해 이슈 유형 및 감성 키워드를 도출, Tableau 모니터링 체계를 통해 고객 경험 개선 및 CS 대응에 활용
사용자 활용 체계 설계로 데이터 접근성과 활용성 확보, 데이터 기반 조직 문화 형성
- 데이터 소비 주체별 요구를 반영하여 역할 기반(Role-Based) 데이터 구조를 설계하고, Tableau를 통해 직접데이터 접근 및 탐색 지원
- Tableau 기반의 셀프 서비스 분석 환경 마련으로 데이터 기반 업무 방식 정착

솔루션 제안 및 수행 내용

CJ올리브네트웍스 수행사 소개

이러한 복잡한 목표를 효과적으로 달성하기 위해 CJ푸드빌은 Public Cloud 환경과 데이터 분석 플랫폼 전반에 걸쳐 높은 기술력과 풍부한 구축 경험을 보유한 IT 전문 기업인 CJ올리브네트웍스와의 협력을 선택했습니다.
CJ올리브네트웍스는 AWS의 DevOps 컨설팅 컴피턴시와 Partner-Led Support(PLS)를 포함한 다양한 클라우드 인증을 보유한 AWS 공식 파트너로서, 수년간 다양한 산업 분야의 고객을 대상으로 클라우드 기반 데이터 파이프라인 구축부터 AI MLOps 환경까지 아우르는 엔드투엔드(End-to-End) 서비스를 제공해 왔습니다.
특히, AWS 클라우드 보안 인증을 획득하며 보안 역량 또한 입증받았고, 이를 기반으로 고객 맞춤형 보안 체계 설계 및 운영컨설팅에서도 강점을 보여주고 있습니다. CJ푸드빌은 이러한 CJ올리브네트웍스의 기술 전문성과 풍부한 실전 경험을 바탕으로, 안정적이면서도 확장 가능한 데이터 활용 환경을 빠르게 구축하고, 자사 Cloud 전환의 핵심 목표를 효과적으로 실현하고자 했습니다.

선정된 솔루션/기술 소개

CJ올리브네트웍스는 빠르게 변화하는 데이터 환경에 유연하게 대응하고, 고도화된 분석 인프라를 구축하기 위해 AWS 기반의 클라우드 플랫폼을 채택했습니다. 데이터 수집부터 분석, 향후 AI 인프라까지 고려하여 전체 흐름을 최적화하기 위해 아래와 같은 기술 스택을 선정하고 적용하였습니다.

SAP 데이터 추출 – ARMIQ

SAP BW의 복잡하고 폐쇄적인 데이터 구조를 고려할 때, 일반적인 ETL 도구로는 효과적인 데이터 추출이 어렵습니다. 이런 어려움을 극복하고자 SAP BW 데이터를 효율적으로 추출하기 위해 SAP ETL 공식 파트너인 ARMIQ 솔루션을 도입했습니다. ARMIQ는 SAP 환경과의 높은 호환성과 안정적인 성능을 제공하며, 데이터를 신속하게 외부 저장소로 추출할 수 있도록 지원합니다. 이는 SAP의 비즈니스 데이터가 가진 복잡한 구조와 관계를 이해하고 이를 유지하면서 클라우드 환경으로 안전하게 이전할 수 있는 중요한 기술적 기반이 되었습니다.

데이터 저장 (Data Lake) – Amazon S3

SAP BW에서 추출된 귀중한 데이터는 무제한 확장성과 높은 가용성을 제공하는 Amazon S3에 저장하여 데이터 레이크를구성합니다. 이를 통해 정형화된 SAP 데이터뿐만 아니라 다양한 구조와 형식의 데이터를 유연하게 수용할 수 있으며, 향후 머신러닝이나 실시간 분석에 활용할 수 있는 기반을 마련하였습니다. 이로써 SAP 데이터는 더 이상 폐쇄적인 시스템에 갇히지않고, 클라우드 환경에서 다른 데이터 소스와 함께 통합적으로 활용될 수 있게 되었습니다.

데이터 웨어하우스 및 분석 (Data Warehouse & BI) – Snowflake

저장된 데이터를 정제하고 분석하기 위해 Snowflake를 데이터 웨어하우스로 도입하였습니다. Snowflake는 고성능과 높은 확장성을 제공하며, 다양한 비즈니스 요구에 맞는 분석 환경을 제공합니다. 이를 통해 SAP BW에서는 구현하기 어려웠던 복잡한 분석 쿼리와 대규모 데이터 처리를 효율적으로 수행할 수 있게 되었습니다.
시각화 도구로는 Tableau(태블로)를 활용하여, 직관적이고 실시간에 가까운 데이터 인사이트 제공이 가능하도록 구성하였습니다. 이로써 IT 전문가가 아닌 일반 업무 사용자들도 SAP의 핵심 데이터와 외부 데이터를 결합한 통찰력을 얻을 수 있게 되었습니다.
ARMIQ AETL은 SAP Data를 안전하고 효과적으로 AWS Cloud로 전송하여 통합된 Data의 다양한 가치를 발견하도록 지원합니다. AWS Well-Architected 성능, 효율성, 보안 지침에 따른 솔루션을 구성하여 AWS로부터 공식 Qualified Software 인증을 받았습니다.

AWS 마켓플레이스 링크: https://go.aws/3wBXbLR
데모 영상 링크: https://www.youtube.com/watch?v=eV7YBlHGjCM

< ARMIQ의 ETL 솔루션의 AWS 연결 >

AWS 아키텍처 설명 (전체 아키텍처 및 핵심 구성 요소 설명)

CJ푸드빌의 민감한 비즈니스 데이터를 보다 안전하게 보호하기 위해, AWS에서 제공하는 Private 서비스와 Serverless 아키텍처를 적극 활용하여 외부 접근이 차단된 폐쇄형 클라우드 인프라를 설계하고 구축했습니다.
전체적인 아키텍처는 다음과 같습니다. 온프레미스 IDC에 위치한 SAP BW 및 Tableau 서버와 AWS 클라우드 환경을 VPN과 Transit Gateway로 연결하는 하이브리드 구조로 설계되었습니다. AWS 환경에서는 CJ푸드빌 DW Account와 Snowflake Account를 분리하여 데이터 처리와 저장의 역할을 구분했습니다. 이러한 구조는 SAP 데이터의 안전한 이동과처리를 보장하면서도, 클라우드의 유연성과 확장성이라는 이점을 최대한 활용할 수 있게 해줍니다.

< CJ푸드빌, SAP BW 데이터의 클라우드 확장 아키텍처 >

AWS Lambda 기반의 경제적인 아키텍처로 ETL이 실행될 때에만 과금이 되어 대기 비용이 발생하지 않고, 실행된 모든 프로세스는 AWS X-Ray를 통해 상세 상태를 추적할 수 있습니다. 이는 SAP 데이터 처리와 같은 간헐적이지만 중요한 워크로드에 이상적인 비용 효율적 접근법입니다.

주요 AWS 서비스 소개 및 도입 이유

SAP BW의 핵심 데이터를 AWS 클라우드로 안전하게 이전하고 활용하기 위해 다양한 AWS 서비스가 도입되었습니다:
AWS Transit Gateway: 향후 인프라 확장과 개발/운영 환경 분리에 대비해, 클라우드 내 다양한 VPC와 온프레미스 네트워크 간의 연결을 중앙에서 관리할 수 있도록 지원하는 네트워크 전송 허브 역할의 서비스입니다. 이는 SAP 환경과 AWS 클라우드 간의 안정적인 연결을 보장하는 핵심 구성 요소입니다.
AWS Site-to-Site VPN: IP 보안(IPSec) 터널을 사용하여 데이터 센터 또는 지사와 AWS 리소스 간에 보안 연결을 하기 위해 도입한 완전관리형 서비스입니다. SAP BW가 위치한 온프레미스 환경과 AWS 클라우드 간의 안전한 데이터 이동 경로를제공합니다.
AWS Certificate Manager(ACM): SSL/TLS 인증서를 쉽게 프로비저닝하고 관리할 수 있는 서비스입니다. 데이터전송 과정에서의 암호화를 통해 SAP의 민감한 비즈니스 정보를 보호합니다.
AWS Network Load Balancer(NLB): 초고성능 TCP/UDP 트래픽을 처리하는 4계층 로드 밸런서로, 고정 IP와 클라이언트 IP 전달 기능을 통해 낮은 지연의 안정적인 서비스를 제공합니다. 또한 NLB Private IP와 내부 도메인 연결에 활용해, 내부 트래픽 라우팅을 단순하게 연결하였습니다. 이는 SAP에서 발생하는 대량의 데이터 트래픽을 효과적으로 분산하고 처리하는 데 중요한 역할을 합니다.
API Gateway 프라이빗 REST API: VPC 엔드포인트를 통해서만 접근 가능한 비공개 API 서비스로, 퍼블릭 인터넷을 전혀거치지 않고 온프레미스 또는 VPC 내부에서만 안전하게 호출할 수 있는 구조를 구현했습니다. 이를 통해 SAP 데이터 접근API를 외부 위협으로부터 완전히 격리할 수 있었습니다.
AWS Lambda: 서버를 직접 관리할 필요 없이 코드를 실행할 수 있는 이벤트 기반 서버리스 컴퓨팅 서비스입니다. AWS Lambda를 VPC 내부에 구성하여 Private 네트워크 상에서만 실행되도록 설정, 보안성과 분리된 실행 환경을 확보했습니다. Lambda는 SAP 데이터 변환 및 처리 로직을 효율적으로 실행하는 핵심 컴포넌트입니다.
Gateway endpoint for Amazon S3: 퍼블릭 인터넷을 거치지 않고 VPC 내부에서 Amazon S3에 직접 안전하게 접근할 수 있도록 지원하는 게이트웨이형 엔드포인트입니다. 추가 비용 없이 제공되며, 데이터 전송 비용도 발생하지 않습니다. 이는 SAP 데이터를 S3 스토리지로 안전하게 이동하는 데 필수적인 요소입니다.
Amazon S3: 다양한 형식의 데이터를 안정적으로 저장할 수 있는 확장 가능하고 고내구성을 갖춘 객체 스토리지 서비스입니다. 파일, 이미지, 백업 데이터 등을 저장하고, 분석 및 처리 환경과도 유기적으로 연동됩니다. SAP BW에서 추출된 데이터의 일차적인 저장소 역할을 하며, 데이터 레이크의 기반을 형성합니다.
AWS PrivateLink: 퍼블릭 인터넷을 사용하지 않고도 VPC 내에서 다른 VPC 또는 AWS 서비스에 Private하게 연결할 수있도록 지원하는 보안 중심의 네트워크 서비스입니다. 민감한 트래픽을 외부 노출 없이 처리할 수 있어 데이터 보호에 유리합니다. SAP의 민감한 비즈니스 데이터를 처리할 때 보안을 강화하는 핵심 서비스입니다.

프라이빗 API Gateway와 커스텀 도메인 구현

CJ푸드빌 DW 플랫폼 프로젝트에서는 내부 시스템 간 안전하고 일관된 데이터 연계를 지원하는 것을 목표로 했습니다. AWS는 기본적으로 프라이빗 API Gateway에 커스텀 도메인 구성을 지원하지 않으므로, NLB 프록시 계층과 DNS 리다이렉션 기법을 활용한 솔루션을 구현했습니다. API Gateway용 VPC 엔드포인트를 생성하고, 이 엔드포인트의 IP 주소들을 대상으로 하는 내부 NLB를 구성했습니다. 여기에 ACM 인증서를 적용하여 암호화된 통신을 보장하고, CJ그룹 내부 DNS 서버를 통해 커스텀 도메인이 NLB로 연결되도록 설정했습니다.
이 접근 방식은 API 호출의 일관성을 유지하면서도 프라이빗 API의 보안 이점을 그대로 활용할 수 있게 해줍니다. 백엔드 구현이 변경되더라도 클라이언트 코드 수정 없이 일관된 API 엔드포인트를 유지할 수 있으며, 모든 API 통신이 VPC 내부에서 이루어지므로 데이터 유출 위험을 최소화하면서도 내부 시스템 간 원활한 통합이 가능해졌습니다. 이는 SAP 데이터와 같은 민감한 기업 정보를 처리할 때 특히 중요한 보안 아키텍처입니다.

< Private API Gateway와 DNS 연계 아키텍처 >

VPC 엔드포인트와 NLB를 활용한 보안 강화

VPC 내부에 TLS를 지원하는 내부 NLB를 배치하고, API Gateway VPC 엔드포인트의 IP 주소들을 대상그룹으로 설정했습니다. 또한 보안을 강화하기 위해 Amazon Certificate Manager(ACM)를 NLB에 연계하여 모든 통신에TLS 암호화를 적용했습니다. 이는 VPC 내부 통신에서도 데이터 암호화를 보장하고, 인증서의 자동 갱신으로 관리 포인트를줄일 수 있었습니다.
이 구성의 핵심은 NLB가 프라이빗 API Gateway에 대한 트래픽을 수신하고, 이를 VPC 엔드포인트를 통해 라우팅한다는 점입니다. 동시에 NLB의 DNS 이름을 커스텀 도메인의 대상으로 설정함으로써, 프라이빗 API Gateway에 커스텀 도메인을 효과적으로 적용할 수 있었습니다. 이러한 접근은 SAP 데이터가 클라우드 환경으로 이동하는 전체 과정에서 보안을 강화하는중요한 요소입니다.

< DNS 연계 Lambda 호출 아키텍처 >

Proxy 형태로 Private API Gateway 메서드 통합

프라이빗 API Gateway는 VPC 내부에서만 접근 가능한 API를 만드는 것이지만 백엔드와 어떻게 통합할지 고려해야 했습니다. 이때 프록시 통합을 사용하면 API Gateway 설정을 최소화하고 백엔드(Lambda, ALB, HTTP API)에서 모든 로직을 처리할 수 있었습니다. 운영 관점에서 Private API와 Proxy 통합은 보안성과 민첩성을 확보할 수 있었으며, 개발/운영 편의성도 확보할 수 있었습니다.
이러한 아키텍처 접근법은 SAP BW와 클라우드 데이터 웨어하우스 플랫폼 간의 시너지를 극대화하는 동시에 인프라 운영 비용을 체계적으로 최적화하여 전사적 데이터 관리 효율성을 향상시키는 것을 목표로 합니다. 하이브리드 아키텍처를 통해 기존 SAP 투자를 보호하면서도 클라우드의 유연성과 확장성을 활용한 지속가능하고 미래지향적인 데이터 플랫폼을 구축할 수 있었습니다.

파트너 솔루션 선택 이유와 차별점

SAP BW의 데이터 파이프라인 구축은 여러 기술적 어려움이 있습니다. 이러한 도전을 효과적으로 해결하기 위해 CJ푸드빌은 ARMIQ AETL을 도입하여 경제적이고 효과적인 SAP 데이터 파이프라인을 신속하게 구축할 수 있었습니다. SAP 데이터를 AWS로 이전할 때 직면하는 주요 문제점과 ARMIQ 솔루션의 차별점은 다음과 같습니다:

시스템 복잡성 해결: SAP는 자체적인 복잡한 데이터 모델과 비즈니스 로직을 가지고 있어 AWS 환경에 매핑하기 어렵습니다. ARMIQ 솔루션은 이러한 복잡성을 추상화하고 SAP 데이터 구조를 효과적으로 AWS 환경에 매핑할 수 있습니다.
호환성 문제 극복: SAP의 독자적인 ABAP 프로그래밍 언어와 AWS의 다양한 서비스 간 호환성을 맞추기 어렵습니다. ARMIQ은 SAP와 AWS 양쪽 환경을 깊이 이해하고 이들 간의 호환성 문제를 해결하는 전문 기능을 제공합니다.
데이터 변환 오버헤드 감소: SAP의 특화된 포맷에서 AWS 서비스가 처리할 수 있는 형태로 데이터를 변환하는 작업이복잡합니다. ARMIQ의 자동화된 데이터 변환 기능은 이 과정을 간소화합니다.
효율적인 데이터 전송: 대량의 SAP 데이터 전송 시 시스템 고부하와 네트워크 지연이 발생하는 문제를 ARMIQ의 최적화된 전송 메커니즘이 해결합니다.
전문 기술 격차 해소: 두 플랫폼 모두에 대한 전문 지식을 갖춘 인력을 찾기 어려운 상황에서, ARMIQ 솔루션은 기술적지식 없이도 SAP 데이터를 활용할 수 있는 환경을 제공합니다.
변화 관리 간소화: SAP 시스템 변경이 데이터 파이프라인에 미치는 영향을 관리하기 쉬워졌습니다.
비용 관리 향상: 두 플랫폼 간 데이터 전송, 변환, 저장에 따른 비용을 예측하고 관리하는 능력이 개선되었습니다.

ARMIQ 솔루션의 도입은 SAP 데이터의 복잡성과 클라우드 환경의 유연성 사이의 간극을 메우는 핵심 역할을 했으며, 이를통해 CJ푸드빌은 SAP의 귀중한 비즈니스 데이터를 AWS 클라우드에서 효과적으로 활용할 수 있는 환경을 구축할 수 있었습니다.

데이터 및 시스템 처리 방식

데이터 추출/변환/적재(ETL) 방식

SAP BW 시스템의 복잡한 데이터를 효과적으로 AWS 클라우드로 이전하기 위해, ARMIQ AETL은 특화된 ETL 방식을 구현했습니다. 이 솔루션은 SAP 테이블의 데이터를 10,000 ~ 50,000 건으로 분할하여 압축하고, AWS Lambda를 활용하여압축 데이터를 병렬 처리함으로써 빠른 전송 성능을 제공합니다.
이러한 분할 및 병렬 처리 접근법은 SAP와 같은 미션 크리티컬 시스템에서 발생할 수 있는 과부하 문제를 방지합니다. 또한, 작은 파일 단위의 병렬 전송으로 인해 전용선의 제한된 대역폭에도 효과적으로 전송이 가능합니다. 이는 온프레미스 SAP BW와 AWS 클라우드 간의 데이터 이동을 최적화하는 중요한 기술적 혁신입니다.

처리 대상 데이터의 성격 및 기술적 특징

SAP 시스템의 데이터는 일반적인 관계형 데이터베이스와는 다른 특수한 특성을 가지고 있습니다. SAP에 정의된 데이터 타입은 일반적인 데이터 유형 외에도 다수의 특수 유형이 존재하여 변환이 어렵습니다. 예를 들어, SAP의 날짜, 시간 형식, 통화값 처리, 다국어 지원을 위한 특수 문자셋 등은 표준 데이터베이스 시스템과 크게 다르며, 이를 AWS 환경에 맞게 변환하는 것은 상당한 기술적 도전입니다.
이에 ARMIQ AETL은 사전 데이터 매핑 기능을 통해 스키마를 자동으로 생성하여 데이터 변환 작업을 자동화하는 기능을 제공합니다. 이를 통해 SAP의 복잡한 데이터 구조를 AWS 환경에서 활용 가능한 형태로 원활하게 변환할 수 있으며, SAP 데이터의 정확성과 무결성을 유지하면서도 클라우드 환경에서의 유연한 활용이 가능해집니다.

스트리밍/배치 처리 여부, 사용된 서비스

ARMIQ AETL은 비즈니스 요구에 따라 유연하게 데이터 처리 일정을 조정할 수 있는 기능을 제공합니다. 1분 단위의 배치부터 일별, 주별, 월별 반복 설정까지 다양한 스케줄링 옵션을 지원하여 고객사 운영팀에서 데이터 새로고침 주기를 비즈니스 요구에 맞게 편리하게 설정할 수 있습니다.
이러한 유연한 스케줄링 기능은 SAP 데이터의 특성과 업무 중요도에 따라 최적의 데이터 전송 전략을 구현할 수 있게 해줍니다. 예를 들어, 매출과 같은 중요 운영 데이터는 더 자주 갱신하고, 마스터 데이터와 같이 자주 변경되지 않는 정보는 덜 빈번하게 처리함으로써 시스템 자원을 효율적으로 활용할 수 있습니다.

구현 및 운영 결과

시스템 구축 후 변화 및 개선 효과

CJ푸드빌은 SAP BW 데이터를 AWS 클라우드로 성공적으로 연계함으로써 데이터 활용 측면에서 큰 변화와 개선을 경험했습니다. AWS에서 제공하는 Private 서비스를 적극 활용하여 외부 접근이 차단된 폐쇄형 클라우드 인프라를 구축하고, AWS의 매니지드 서비스와 서버리스 서비스를 활용하여 보안뿐만 아니라 서비스의 안정성과 확장성, 내구성까지 확보했습니다. 이로 인해 운영 복잡도를 줄이는 동시에, 장애에 강한 고가용성(HA) 환경을 확보하였습니다.

기술적 효과 (성능, 안정성, 자동화 측면)

A. 보안성과 안정성이 높은 폐쇄형 구조
SAP BW에서 AWS로의 데이터 전송 구간은 VPN + Transit Gateway 기반으로 암호화 및 전용망 통신이 보장되어 보안성이 우수합니다. API Gateway, S3, Lambda 모두 Private Subnet에서 구성되어 있어 공개 인터넷과 완전히 분리된 구조로 보안 위협을 최소화했습니다. 이는 SAP에 저장된 민감한 비즈니스 데이터를 보호하는 데 매우 중요한 요소입니다.
B. 고가용성 및 트래픽 처리 성능 확보
Network Load Balancer (NLB)를 통해 SAP에서 유입되는 대량의 데이터를 안정적으로 분산 처리하며, 고가용성을 갖춘 Lambda로 연결됩니다. API Gateway + Lambda 기반 아키텍처는 자동 확장(Auto-scaling)이 가능하여 사용량이 증가해도 무중단 처리가 가능합니다. 이는 비즈니스 성장에 따른 데이터 볼륨 증가에도 유연하게 대응할 수 있는 기반을 마련했습니다.
C. 데이터 전송 경로 최적화
API Gateway를 통해 수집된 데이터는 S3로 직접 적재 이후 PrivateLink를 통한 Snowflake 연동으로 데이터 이동 경로가 최소화되고 암호화된 채널로 고정되게 설정하였습니다. 또한 Snowflake 계정에서도 S3 endpoint를 사용하여 공용 인터넷 없이 빠르고 안전하게 데이터 접근이 가능하였습니다. 이는 데이터 전송 속도와 보안을 동시에 향상시키는 중요한 아키텍처 결정이었습니다.
D. 무중단 운영을 위한 서버리스 기반
Lambda 기반 데이터 전송 로직은 무서버 운영으로 관리 포인트를 최소화하고, 장애나 패치에 유연하게 대응할 수 있었습니다. IAM 권한 기반 제어 및 ACM 인증서로 API 호출을 자동 인증 처리하여 인증 자동화를 실현하였습니다. 이를 통해 운영 부담을 크게 줄이면서도 안정적인 서비스를 제공할 수 있게 되었습니다.
E. 보안이 강화된 프라이빗 통신
프라이빗 API Gateway는 인터넷에 노출되지 않으면서도, 커스텀 도메인과 ACM 인증서를 통해 내부 통신의 보안을 강화합니다. NLB와 VPC 엔드포인트를 활용한 구성은 모든 데이터 흐름이 AWS의 프라이빗 네트워크 내에서만 유지되도록 보장합니다. 이는 SAP의 민감한 비즈니스 데이터 보호에 핵심적인 요소입니다.
서버리스 아키텍처의 적용으로 트래픽과 데이터 처리량에 따라 자동으로 확장되어 SAP와 클라우드 DW 간 데이터 이동 시발생하는 성능 병목 현상이 해소되었습니다. Lambda 함수의 동시 실행 기능으로 대용량 데이터 처리 시에도 처리 시간을 대폭 단축할 수 있으며, API Gateway의 스로틀링과 캐싱 기능으로 SAP 시스템에 과부하를 주지 않으면서도 최적의 응답 속도를 보장합니다. 인프라 프로비저닝 및 관리가 필요 없어 운영 복잡성이 크게 감소했으며, AWS SLA에 의한 고가용성 보장으로 예기치 않은 다운타임이 최소화되어 SAP 시스템과 클라우드 DW 간의 데이터 흐름이 중단 없이 유지됩니다.

비즈니스 효과 (업무 효율, 의사결정 지원 측면)

A. 데이터 파이프라인 실시간화 및 자동화로 업무 효율성 향상
SAP BW 데이터를 실시간 또는 스케줄링에 따라 자동 추출 → S3 적재 → Snowflake 분석까지 End-to-End 자동화를 구현하여 업무 효율성이 크게 향상되었습니다. 이전에는 SAP 데이터를 추출하여 분석에 활용하는 과정이 수작업에 의존했으나, 이제는 데이터가 자동으로 안정하게 연동되는 아키텍처 구성으로 운영 인력 관리 부담이 최소화되었습니다.
B. 신속한 데이터 분석과 의사결정 지원
Snowflake의 고성능 DW 기능을 활용하여 대규모 데이터에 대한 분석 시간을 획기적으로 단축했습니다. 또한 Tableau와 연계하여 경영진/실무진이 직관적이고 실시간에 가까운 시각화 인사이트를 확보할 수 있게 되었습니다. 이는 비즈니스 의사결정의 속도와 정확성을 크게 향상시키는 결과를 가져왔습니다.
C. Cross-Account 설계로 조직 확장성 확보
Snowflake 전용 계정과 CJ푸드빌의 AWS 계정을 분리함으로써 조직 내 보안 및 책임 분리가 명확해졌습니다. 또한 다른 계열사 또는 부서로 확장할 때도 재사용 가능한 구조를 확보하여, 향후 CJ그룹 전체로 이 아키텍처를 확장할 수 있는 기반을 마련했습니다.
D. 투자 대비 효율 극대화 (TCO 관점)
서버리스 및 클라우드 네이티브 서비스 조합으로 초기 인프라 투자 없이 구축이 가능했습니다. 자동 확장과 비용 최적화 구조의 아키텍처를 구성함에 따라 필요한 만큼만 사용(Pay-as-you-go)하는 효율적인 운영이 가능해졌습니다. 이는 기존 SAP 환경의 고정 비용 구조와 비교했을 때 큰 비용 효율화를 가져왔습니다.
SAP의 구조화된 트랜잭션 데이터와 클라우드 DW의 비정형/외부 데이터를 통합함으로써 분석 역량이 크게 확장되었습니다. 클라우드 DW의 탄력적 컴퓨팅 자원을 활용해 대용량 데이터 처리 및 복잡한 분석 워크로드를 SAP 시스템에 부담을 주지 않고 수행할 수 있게 되었으며, 이를 통해 전체 시스템 성능이 향상되고 SAP BW의 한계를 뛰어넘는 확장성을 확보할 수 있었습니다.

고객사 피드백 및 내부 사용자 반응

솔루션 도입 후 CJ푸드빌의 사용자들로부터 매우 긍정적인 피드백이 있었습니다. 특히 눈에 띄는 변화는 데이터 활용의 민첩성이 크게 향상된 점이었습니다. 추가 데이터 전송 및 재전송 작업이 별도의 개발 프로젝트 없이 단순 설정만으로 가능해져 업무 효율성이 크게 향상되었습니다. 기존에는 IT 부서에 요청하고 개발 일정을 기다려야 했으나, 현재는 필요 시점에 즉시 데이터를 확보하여 활용할 수 있게 되었습니다.
이러한 변화로 시장 환경 변화에 따른 데이터 분석 요구 발생 시 즉각적인 대응이 가능해졌으며, 데이터 기반의 신속한 의사결정을 통해 사업 기회 포착 능력이 향상되었습니다. 특히 마케팅 및 영업 부서에서는 SAP의 판매 데이터와 외부 시장 데이터를결합한 분석을 통해 더 정교한 캠페인 계획과 매출 예측이 가능해졌다고 평가했습니다.

결론 및 인사이트

핵심 성공 요인

CJ푸드빌의 SAP BW 데이터를 AWS 클라우드로 성공적으로 연계한 프로젝트의 핵심 성공 요인은 다음과 같습니다:
1. 검증된 기술 스택 선정
SAP 환경에 특화된 전문 솔루션인 ARMIQ AETL 도입으로 일반적인 ETL 도구로는 해결하기 어려운 SAP 데이터 구조의 복잡성을 효과적으로 극복할 수 있었습니다. AETL은 AWS Lambda와 완벽하게 통합되어 서버리스 환경에서 SAP 데이터의 추출, 압축, 병렬 처리 및 클라우드 적재 과정을 자동화함으로써 개발 복잡성을 크게 감소시켰습니다.
또한 Amazon S3 기반 Data Lake로 확장성과 유연성을 확보하였으며, Snowflake + Tableau 조합을 통한 고속 분석과 시각화 인프라를 구축했습니다. 결론적으로 각각의 컴포넌트는 AWS 클라우드 상에서 상호 간 높은 호환성과 안정성을 바탕으로통합되었습니다.
2. 보안 및 내부망 설계 최적화
Private API, VPC endpoint, IAM 기반 접근 제어 등 보안 중심 아키텍처 설계를 통해 외부 위협 요소를 원천 차단하였습니다. 이는 SAP에 저장된 민감한 비즈니스 데이터를 보호하면서도 클라우드의 유연성을 활용할 수 있게 해주는 핵심 요소였습니다.

향후 확장 방향 또는 운영 계획

CJ푸드빌은 현재 구축된 SAP BW-AWS 연계 환경을 더욱 최적화하고 확장하기 위한 계획을 가지고 있습니다. 운영 비용 최적화를 위해 데이터 전송 주기와 볼륨을 정기적으로 분석하여 Lambda 함수의 메모리 할당량 및 API Gateway 처리량을 조정함으로써 성능과 비용을 최적화를 해 나갈 예정입니다. 또한 운영팀이 설정 인터페이스를 통해 손쉽게 새로운 데이터 연계를추가할 수 있도록 지속적인 지원 및 교육을 진행할 계획입니다.
향후에는 SAP 데이터를 기반으로 더욱 고도화된 AI/ML 모델을 개발하고, 이를 비즈니스 프로세스에 직접 통합하여 예측적 분석과 자동화된 의사결정 지원 체계를 강화해 나갈 예정입니다. 이를 통해 SAP 데이터의 가치를 더욱 극대화하고, 데이터 기반 혁신을 지속적으로 추진할 것입니다.

유사 프로젝트/고객에게 시사점

SAP BW와 클라우드 연계 시 전문 솔루션을 활용하면 커스텀 개발 비용을 대폭 절감하고 서버리스 아키텍처 기반의 비용 효율적인 데이터 연계를 구현할 수 있습니다.
SAP 데이터 구조의 복잡성을 완벽히 반영한 전문 기능을 통해 ABAP 개발자 없이도 설정만으로 데이터 연계가 가능하여 비즈니스 부서에서 직접 데이터를 활용할 수 있는 환경을 제공합니다.
이러한 접근법은 SAP 시스템 내 데이터를 활용하여 AI/ML 분석 및 시각화를 수행하고자 하는 기업들에게 효과적인 대안을 제시합니다.

AWS 기술 블로그