AWS AI 칩

AWS Trainium 고객

고객이 AWS Trainium을 사용하여 딥 러닝 모델을 구축하고, 훈련하고, 미세 조정하는 방법에 대해 알아보세요.

Anthropic

성능과 규모는 단순한 기술적 요구사항이 아닙니다. 우리의 사명을 달성하기 위한 필수 요소입니다. 그래서 우리는 AWS를 주요 클라우드 공급자로 선정하여, 세계에서 가장 강력한 운영 AI 슈퍼컴퓨터인 Project Rainier를 만들었습니다. 현재 거의 백만 개의 Trainium2 칩이 Claude를 훈련하고 제공하고 있습니다. 우리는 Trainium3에 대한 기대가 크며, 지금까지 Project Rainier로 구축한 것보다 훨씬 더 큰 규모로 Claude의 규모를 조정하여 AI로 할 수 있는 일의 한계를 넓혀 나갈 계획입니다.

James Bradbury, Anthropic, Compute Head

poolside

AWS와의 파트너십은 우리에게 두 가지 혜택을 모두 제공합니다. Trainium 덕분에 poolside 고객은 다른 AI 액셀러레이터와는 다른 가격 대비 성능으로 사용량을 확대하고 있습니다. 또한 Trainium의 기본 PyTorch 및 vLLM 지원이 조만간 제공되면, poolside를 포함한 Trainium 사용자는 훨씬 더 혁신적이고 유연한 환경을 누리게 될 것입니다. 무엇보다도 AWS의 고객 중심 접근 방식이 빛을 발했습니다. AWS는 신속하게 반복 작업을 수행하고 우리의 피드백을 활용하여 Trainium을 우리의 요구에 맞게 조정해 주었습니다. 우리는 Trainium의 모든 측면에 대한 협력이 더욱 공고해지길 바랍니다.

Joe Rowell founding Engineer

Decart

Trainium의 고유한 아키텍처인 효율적인 메모리 계층 구조와 고처리량 AI 엔진은 하드웨어의 완전한 활용을 끌어내면서 Decart의 실시간 동영상 모델에 이상적인 제품임이 입증되었습니다. 초기 테스트에서는 최상위 GPU에 비해 프레임 처리량이 최대 4배 높고 비용 효율성이 2배 높았으며, 지연 시간이 40ms에서 10ms로 감소했습니다. 기존 표준 하드웨어에서는 불가능했던 일인 라이브, 동적 및 대화형 동영상의 대규모 생성이 가능한 수준의 성능이죠. AWS 고객은 Bedrock을 통해 곧 이러한 기능을 직접 이용할 수 있게 될 것입니다.

Dean Leitersdorf, 공동 창립자 겸 CEO

Karakuri

AWS Trainium을 도입한 덕분에, 우리는 인프라 가용성을 유지하면서도 LLM 훈련 비용을 50% 이상 절감하는 데 성공했습니다. 덕분에 예산을 훨씬 밑도는 비용으로 일본에서 가장 정확한 일본어 언어 모델을 구축할 수 있었죠. 그리고 인프라 안정성은 예상치 못한 혜택인 생산성 향상으로 이어져, 팀은 문제 해결이 아닌 혁신에 집중할 수 있게 되었습니다.

Tomofumi Nakayama, CPO

AWS Trainium 파트너

AGI House

AWS Trainium과의 파트너십 덕분에 우리는 최첨단 훈련 리소스를 제공하고 획기적인 이벤트와 과제를 만들어, AI 창립자와 연구원에게 더 나은 서비스를 제공할 수 있게 되었습니다. 이러한 협업은 그동안 간과했던 커뮤니티와의 접점을 마련해 주었고, 그 결과 기존 유대 관계를 강화하고 지속적인 성장을 이끌 수 있었습니다. 특히 개발자 커뮤니티는 이번 파트너십 기간 동안 계속 번창하여, 팀의 사려 깊은 지원 덕분에 빌드 작업 기간 동안 Trainium이 얼마나 강력하고 사용하기 쉬웠는지를 계속 언급했습니다.”

Hugging Face

2025년, AI 커뮤니티는 변곡점에 도달했습니다. 천만 명 이상의 AI 빌더가 Hugging Face에서 수백만 개의 개방형 모델 및 데이터세트를 활용하고 공유하고 있기 때문입니다. 이제 더 크고 다양한 개방형 모델을 실행하는 데 드는 비용을 줄이는 일이 그 어느 때보다 중요해졌습니다. 그래야 AI가 모든 사람과 산업에 도움을 줄 수 있기 때문입니다. Hugging Face는 최초의 Inferentia1 인스턴스가 출시된 후 AWS의 엔지니어링 팀과 꾸준히 협력하여 목적별 AI 칩을 만들어 왔습니다. 그래서 우리는 MoE LLM에서 에이전트와 동영상 생성 모델에 이르는, 아무리 까다로운 AI 애플리케이션도 구동할 수 있는 차세대 AWS AI 칩인 Trainium3를 매우 기대하고 있습니다. 우리는 Optimum Neuron을 통해 Trainium 3의 높은 메모리 및 비용 효율성을 수백만 명의 Transformers, Accelerate, Diffusers, TRL 사용자에게 제공하고자 최선을 다합니다, 목표는 이들이 비용을 제어하면서 자체 AI를 구축하게 하는 것입니다.

RedHat

우리는 혁신적인 vLLM 프레임워크를 기반으로 구축된 엔터프라이즈급 추론 서버를 AWS의 전용 Inferentia 칩과 통합하여, 고객이 AI 워크로드 생산을 그 어느 때보다 효율적으로 배포하고 규모 조정할 수 있게 합니다. 당사의 솔루션을 사용하면 어떤 환경에서도 AI 모델을 실행할 수 있는 유연성을 유지하면서도, 기존 GPU 기반 추론 대비 최대 50% 향상된 가격 대비 성능을 누릴 수 있습니다. 이 파트너십은 Red Hat의 신뢰할 수 있는 오픈 소스 혁신과, Fortune 500대 기업 중 90%의 기업에 적용되는 엔터프라이즈 AI 배포에 대한 당사의 심층적인 전문성을 기반으로 합니다.

Dean Leitersdorf, 공동 창립자 겸 CEO

PyTorch

PyTorch의 비전은 간단명료합니다. 모든 하드웨어 플랫폼의 모든 부분에서 동일한 코드를 실행하는 것입니다. AWS의 기본 Trainium 지원은 신속한 실험과 자유로운 반복이 필요한 연구자에게 바로 이러한 하드웨어 선택지를 제공합니다. AWS Trainium3 출시 덕분에 PyTorch 개발자는 익숙한 PyTorch 워크플로를 유지하고 이미 알고 있는 에코시스템에서 벗어나지 않으면서도, 더 높은 성능과 더 짧은 지연 시간 및 더 나은 토큰 경제성을 바탕으로 아이디어를 연구, 구축 및 배포할 수 있게 되었습니다.