인코어드테크놀로지스, AWS 기반 HPC 환경 구현하여 자체 기상 예보 시스템 구축, 에너지 솔루션 고도화

클라우드로 일기 예보를 더 빠르게

에너지 IT 전문기업인 인코어드테크놀로지스(Encored Technologies)는 재생에너지 VPP(Virtual Power Plant) 사업자를 위한 발전량 예측에서부터 현장 제어, 시장 입찰에 대한 최적화 입찰까지 VPP 사업을 위한 토탈 솔루션을 제공합니다. 특히, 발전량 예측 및 최적화에 인공지능(AI) 기반 기술을 적용해 VPP 시장에서 전력판매 사업자의 안정적인 수익확보를 가능하게 하는 일에 주력하고 있습니다.

인코어드테크놀로지스는 태양광 및 풍력 등의 신재생에너지가 생산하는 전력량의 정확도를 높이기 위해 자체적으로 일기 예보 시스템을 구축했습니다. 일기 예보를 생성하기 위해 매일 4번씩 계산을 수행하고, 매번 계산은 통상 500여개의 코어, 최대 약 4000개의 코어로 구성된 클러스터를 사용하여 약 2시간 동안 연산을 수행하며 하루에 약 500GB의 결과물이 생성됩니다. 발전량 예측을 위한 인공지능 모델의 학습 데이터 생성하는 과정에서 한 번에 약 100TB의 데이터를 로딩하여 처리하고 있습니다.

AWS HPC 클라우드 도입으로 클러스터 구성 시간 대폭 단축 및 성능 향상

인코어드테크놀로지스는 HPC 환경 구축에 소요되는 시간을 단축하고 HPC 클러스터를 비용 효율적으로 운영하기 위해 AWS의 HPC 솔루션을 선택했습니다. 이효섭 부사장은 대규모의 컴퓨팅 파워를 갖춘 데이터센터를 온프레미스로 구성하기 위해서 최소 6개월 이상의 시간이 걸리고 초기 구축 비용과 운영비용도 고려해야 하는데, AWS는 단 3일 만에 가능했다고 전했습니다.

인코어드테크놀로지스는 초기 HPC 환경 구축 시 Amazon EC2 인스턴스 타입 중 HPC에 특화된 x86 기반의 Amazon EC2 Hpc6a를 활용하여 일기 예보를 위한 HPC 클러스터를 구축했습니다. 날씨 예측에 필요한 대용량의 데이터는 Amazon S3 와 Amazon FSx for Lustre를 사용해 저장하고, HPC 클러스터를 쉽게 배포하고 관리할 수 있게 지원하는 오픈 소스 기반의 클러스터 관리 도구인 AWS ParallelCluster를 사용했습니다. 덕분에 단기간에 일기 예보 시스템을 구축할 수 있었고 운영 효율도 높일 수 있었습니다. 이후 ARM 기반의 AWS Graviton3E 프로세서로 구동되는 HPC 전용 인스턴스인 Amazon EC2 Hpc7g로 변경하면서 비용을 약 60% 절감했습니다.

AWS 기반 HPC 환경을 활용한 VPP 비지니스의 글로벌 확산

인코어드테크놀로지스는 수많은 날씨 변수를 조합해 일기예보를 생성하고, 이를 기반으로 발전량을 예측하기 위해서 최대 약 4000개의 코어를 사용하여 계산을 수행하고 있습니다. 이 모든 작업이 예전에는 고성능의 클러스터 혹은 슈퍼컴퓨터에서나 가능했던 작업이었습니다.

이효섭 부사장은 “온프레미스 환경에서 동일한 성능의 시스템을 구축한다고 해도 원하는 성능을 낼 수 있을지는 누구도 장담할 수 없습니다. 불확실성이 높으면 시스템 도입 자체를 결정하지 못하는데, AWS가 이런 불확실성을 없애 주었습니다. AWS의 HPC 솔루션이 없었다면 날씨를 예측하는 일은 시도조차 못했을 것”이라고 설명했습니다. 또한, “PoC를 진행하면서 테스트를 위한 하드웨어 리소스를 하루 만에 구축할 수 있었고, 연구원이 직접 업무에 필요한 HPC 클러스터 환경을 코드로 구성할 수 있어 언제든지 클러스터 삭제 및 변경이 용이했습니다. 덕분에 인프라 관리 인력이 필요하지 않았습니다.”라고 덧붙였습니다.

이효섭 부사장은 “AWS 기반 HPC 환경을 구축한 이후 성능은 더 개선되고 비용은 더 절감할 수 있습니다. 앞으로 예약 인스턴스와 스팟 인스턴스 등 다양한 인스턴스 구매 옵션을 활용해 비용을 최적화할 계획입니다. 에너지 AI 서비스를 글로벌 지역으로 확장할 계획인 만큼 AWS와의 협업이 매우 기대됩니다.”라고 밝혔습니다.