Category: Compute

최근 많은 기업들이 자체 LLM을 구축하거나, 오픈소스 sLLM(Small Large Language Model)을 활용하여 설치형 LLM서비스를 구성하려는 수요가 크게 증가하고 있습니다. 그런데 실제로 배포하려는 모델을 살펴보면, Llama 3 70B, Qwen 72B, EXAONE 3.5 32B 등 모델을 GPU에 로드할 때 필요한 메모리가 40GB에서 최대 150GB에 달하는 경우가 많아, GPU 메모리가 80GB인 H100/H200이 탑재된 Amazon P5 인스턴스 이상을 요청하는 […]

이 글은 현대오토에버의 GenAI Sandbox 활용 생산성 향상 해커톤 시리즈의 두 번째 글이며, 현대오토에버의 김만철, 최라윤님과 함께 작성하였습니다. 첫 번째 글에서는 현대오토에버와 AWS가 GenAI Sandbox를 활용해 어떻게 생산성 향상 해커톤을 기획하고 운영했는지, 그리고 14개 팀 150여 명이 참여한 이 행사의 전반적인 성과를 소개했습니다. 이번 글에서는 해커톤 수상 팀 중 하나인 ErrorWatcher 팀이 AWS에서 LangGraph와 Claude를 […]

이 글은 현대오토에버의 GenAI Sandbox 활용 생산성 향상 해커톤 시리즈의 첫 번째 글이며, 현대오토에버의 허민오, 김지현님과 함께 작성하였습니다. “회사의 모든 팀이 GenAI 기반 서비스를 직접 만들 수 있다면 어떨까요?” 이 질문에 답하기 위해 현대오토에버는 GenAI 기술을 활용한 아이디어를 구성원 누구나 쉽게 실험해 볼 수 있는 환경을 구축하고 해커톤을 개최했습니다. 그 결과 14개의 팀, 150명의 구성원이 […]

“우리 팀 전체가 AI로 일하는 방식을 바꿀 수는 없을까?” 요즘 주변을 보면, AI 코딩 도구를 활용해 놀라운 생산성을 보여주는 개발자들이 눈에 띄게 늘고 있습니다. 프롬프트 몇 줄이면 동작하는 코드가 나오고, 컨텍스트 문서로 복잡한 시스템의 뼈대를 세우는 사람도 있습니다. 문제는 이런 능력이 특정 개인에게 집중된다는 점입니다. 한두 명이 빠르게 만들어낸 결과물은 인상적이지만, 그 사람이 빠지면 팀에는 […]

딜라이트룸은 글로벌 누적 다운로드 1억 건을 돌파한 수면·기상 솔루션 Alarmy와 B2B 광고 수익화 플랫폼 DARO를 운영하고 있습니다. 최근에는 앱 인수를 통해 사업 영역을 확장하고 있습니다. 2025년 매출 460억 원, 영업이익 200억 원을 기록한 딜라이트룸은 매출 대부분이 해외에서 발생하는 글로벌 중심 기업입니다. Figure 1: 딜라이트룸 소개 앱 인수를 통한 사업 확장은 곧 인프라의 확장을 의미합니다. 새로운 […]

서론 많은 기업이 LLM 기반 에이전틱 워크플로우를 실제 업무에 투입하고 있습니다. 그러나 프로덕션 규모로 확대하면 단일 거대 LLM에 모든 호출을 의존하는 방식의 한계가 드러납니다. 에이전트 내부에서 발생하는 도구 분류·요약·포맷팅 등 매 단계마다 동일한 토큰 과금이 누적되고, 거대 모델의 긴 응답 지연(TTFT)은 실시간 대화에 부적합합니다. 요금 계산이나 약관 검증처럼 정확성이 요구되는 업무에서 환각(hallucination)은 비즈니스 리스크가 되며, […]

들어가며 “우리 서비스에 어떤 EC2 인스턴스 타입을 써야 할까?” 클라우드 인프라를 운영하는 엔지니어라면 누구나 한 번쯤 마주치는 질문입니다. Amazon EC2는 700개가 넘는 인스턴스 타입을 제공하며, 각각 CPU 아키텍처와 세대, 메모리/네트워크 구성이 다릅니다. 스펙 시트에 적힌 vCPU 수와 메모리 용량만으로는 실제 워크로드에서의 성능을 예측하기 어렵습니다. 같은 8 vCPU라도 아키텍처(x86 vs ARM), 세대(5세대 vs 8세대), 워크로드 특성에 […]

이 글은 AWS Spatial Computing Blog에 게시된 Simulating Expert Teams with Agentic AI and Amazon Bedrock AgentCore 를 한국어로 번역 및 편집하였습니다. 소개 여러 전문 분야에 걸친 기술적 질문에 답하는 것은 단순히 정답을 찾는 문제가 아닙니다. 가장 어려운 부분은 그 답을 제공할 수 있는 적절한 사람들을 조율하는 일인 경우가 많습니다. 만약 AI가 전문가 팀을 대체하는 […]

온프레미스 환경에서 고객사마다 개별 설치·운영하던 IAM/MFA 솔루션을 Software as a Service (SaaS)로 전환하는 것은 단순한 기술 마이그레이션이 아닙니다. 제품을 판매하고 가치를 전달하는 방식 자체를 바꾸는 일입니다. AirCUVE는 AWS SaaS Builder Toolkit(SBT)을 활용해 단 3개월 만에 V-FRONT를 멀티테넌트 SaaS 플랫폼으로 전환하고 AWS Marketplace에 등재했습니다. 이 글에서는 그 기술적 여정과 아키텍처 설계 원칙을 공유합니다. 1. V-FRONT 소개 […]

AI에게 단순히 “잘 해봐”라고 시키는 것과, AI가 스스로 만들고 평가하고 개선하는 Agentic 시스템을 설계하는 건 완전히 다른 결과물을 만들어냅니다. AWS Korea SA Team은 Agentic AI 시스템을 개발할 때 마주하는 다양한 기술적 챌린지들을 직접 풀기 위해 ‘Deep Insight’, 사용자가 업로드한 CSV 데이터와 분석 질문을 받아 최종 DOCX 리포트를 생성하는 프로덕션 Multi-Agent 시스템을 개발했고, 세 편의 블로그 […]