AWS 기술 블로그

FriendliAI는 AI 추론 효율을 크게 개선하는 고성능 서빙 엔진을 서비스하는 기업입니다. FriendliAI의 엔진은 높은 Throughput과 비용 절감 효과를 통해 기업이 생성형 AI 서비스를 효율적으로 운영할 수 있도록 지원합니다. Figure 1: Friendli Container Logo Friendli Container Amazon EKS Add-on은 AWS 인프라를 기반으로 생성형 AI 서비스를 확장하면서, Inference 효율을 극대화하는 솔루션입니다. 이 Add-on을 추가하면 기존 Amazon EKS […]

UCMP 소개 오늘날 대부분의 기업들은 AWS, GCP, Azure 등 다양한 클라우드 환경을 활용해 서비스를 개발하고 있습니다. 하지만 클라우드 사업자마다 계정 구조와 운영 정책이 달라 사용자 입장에서는 환경마다 서로 다른 방식으로 관리해야 하는 불편함이 있습니다. 이러한 문제를 해결하고 일관된 사용자 경험으로 클라우드를 운영할 수 있도록 LG유플러스는 자체 클라우드 관리 플랫폼 UCMP(Uplus Cloud Management Platform)를 구축해 멀티 […]

이 글은 Artificial Intelligence 블로그에 게시된 글 (Introducing auto scaling on Amazon SageMaker HyperPod)을 한국어로 번역 및 편집하였습니다. 2025년 8월에 Amazon SageMaker HyperPod가 Karpenter를 통한 관리형 노드 오토스케일링 지원하기 시작했습니다. 이를 통해 추론 및 학습 요구 사항에 맞춰 SageMaker HyperPod 클러스터를 효율적으로 확장할 수 있습니다. 실시간 추론 워크로드는 예측 불가능한 트래픽 패턴에 대응하고 서비스 수준 계약(SLA)을 유지하기 […]

AI 에이전트를 처음 구축할 때 가장 단순한 접근 방식은 하나의 에이전트가 외부 서비스(API, MCP)를 직접 호출하도록 구성하는 것 입니다. 이러한 구조는 초기 PoC 단계에서는 구현이 간단하고, 빠르게 아이디어를 검증하는 데 효과적입니다. 그러나 에이전트 기반 시스템을 엔터프라이즈 환경으로 확장하기 시작하면, 이러한 접근 방식은 곧 한계에 부딪히게 됩니다. 에이전트의 수가 증가하고 외부 API, MCP 내부 서비스가 지속적으로 […]

이 글은 AWS Database Blog에 게시된 Speed up time series data ingestion by partitioning tables on Amazon RDS for PostgreSQL by Vinicius Schmidt and Andy Katz을 한국어 번역 및 편집하였습니다. 지난 포스트 (Amazon RDS for PostgreSQL에서 고성능 시계열 데이터 테이블 설계)에서는 시계열 데이터를 처리할 때 성능을 향상시키는 전략으로 파티션된 테이블(partitioned tables)을 사용하는 방법을 설명했습니다. 이번 […]

들어가며 복잡한 대시보드, 정말 활용되고 있을까? 많은 기업과 연구기관이 데이터 기반 의사결정을 위해 정교한 대시보드를 구축합니다. 하지만 실제 현장에서는 이러한 대시보드가 제대로 활용되지 못하는 경우가 많습니다. 수십 개의 파라미터를 조정해야 하는 복잡한 UI, 전문 용어로 가득한 입력 필드, 그리고 “만약 이렇게 하면 어떻게 될까?”라는 간단한 질문에도 많은 시간이 소요되는 구조 때문입니다. 특히 시뮬레이션 기반 대시보드의 […]

이 글은 Containers 블로그에 게시된 글 (Running Slurm on Amazon EKS with Slinky)을 한국어로 번역 및 편집하였습니다. 사전 학습(pre-training), 파인튜닝(fine-tuning) 또는 추론(inference) 워크로드를 위한 AI 인프라 스택을 구축할 때, 흔히 Slurm이나 Kubernetes를 컴퓨팅 오케스트레이션 플랫폼으로 활용합니다. 각 플랫폼은 다양한 팀의 요구사항을 충족하고 AI 개발 과정의 여러 단계를 지원할 수 있습니다. 하지만 전통적으로 이 방식은 가속 컴퓨팅 용량을 위한 별도의 […]

윈도우 기반의 환경에서 .NET 코드와 SQL Server는 업무용 애플리케이션으로 널리 사용되는 패턴입니다. 클라우드 환경이 인프라의 변화를 가져온 이후, 상업용 소프트웨어에 대한 오픈 소스의 대체가 용이해짐에 따라 윈도우 기반에서 리눅스 기반으로 변경하거나 데이터베이스 역시 PostgreSQL과 같은 오픈소스 데이터베이스로의 전환을 원하는 것은 라이선스 비용 절감의 측면에서 더 이상 미룰 수 없는 작업이기도 합니다. 하지만, 데이터베이스를 담당하는 부서와 […]

Nota AI는 인공지능(AI, Artificial Intelligence) 모델의 경량화 및 최적화 기술을 전문적으로 연구·개발하는 기업입니다. 인공지능 모델을 분석해 특정 하드웨어의 호환성을 지원하고 하드웨어의 특성에 맞게 모델을 변경하여 추론 성능 및 메모리 효율성을 극대화하는 자사 플랫폼인 NetsPresso를 기반으로 모바일, 자동차, 로보틱스, 스마트시티 등 자원이 제한된 다양한 산업군에 고성능 AI 솔루션을 제공합니다. 이번 포스팅에서는, AWS Inferentia와Trainium에 호환되는 LLM 모델에 […]

대고객 서비스를 제공하는 워크로드의 경우 고객 경험을 지속적으로 향상시키기 위해서 다양한 이벤트나 프로모션을 진행합니다. 어떤 경우는 정기적으로 고객을 초청하여 인터뷰를 하며 서비스의 개선을 위한 피드백을 받기도 하고 어떤 경우는 웹 서비스상의 설문 조사를 통해 개선점을 수집하기도 합니다. 이커머스와 같은 서비스는 고객의 경험이 매출과 직결되는 대표적인 워크로드입니다. 따라서 다양한 고객의 피드백과 워크로드의 품질을 검토하기 위해서 해당 […]