- 기계 학습›
- AWS Trainium›
- AWS Trainium 연구
Build on Trainium이란?
AWS Trainium 연구 클러스터
Amazon Research Awards
Neuron Kernel Interface
장점
참여 대학
주요 대학들이 Build on Trainium 프로그램의 혜택을 누리고 있는 방법은 다음과 같습니다.
Massachusetts Institute of Technology
MIT의 디바이스 구현 연구소에서는 AWS Trainium을 사용하여 의료 AI 연구의 한계를 뛰어넘고 있습니다. 당사의 3D 초음파 분할 및 음속 추정 모델은 그 어느 때보다 빠르고 효율적으로 훈련하여 최첨단 정확도를 달성하면서 실험 시간을 절반 이상 단축합니다. AWS Trainium을 사용하면 기존 GPU 시스템으로는 불가능했던 방식으로 연구를 확장할 수 있었습니다. AWS Trainium(trn.32xlarge)에서 3D 완전 합성곱 신경망을 훈련시켜 NVIDIA A100 인스턴스에 비해 50% 더 높은 처리량과 더 낮은 비용으로 최첨단 성능을 달성했습니다. 32노드 Trainium 클러스터를 사용하여 180개 이상의 절제 실험을 효율적으로 수행, 총 훈련 시간을 몇 개월에서 몇 주로 줄이고 MIT의 의료 AI 혁신을 가속화했습니다. 향후에는 Trainium을 사용해 디지털 초음파 워크플로를 작동 및 자동화할 수 있는 AI 에이전트 모델을 훈련하여 임상의의 시간을 크게 절약하고 환자에게 더 나은 치료를 제공할 계획입니다.”
Carnegie Mellon University
“CMU Catalyst 연구 그룹은 ML 시스템 최적화를 위해 노력하고 있습니다. 우리의 프로젝트는 다양한 ML 시스템에서 더 쉬운 최적화를 목표로 합니다. Trainium은 Neuron Kernel Interface(NKI)를 통해 저수준 제어와 액세스 가능한 프로그래밍 인터페이스를 모두 제공한다는 점에서 독보적입니다.
연구진은 Build on Trainium 프로그램을 통해 AWS의 지원을 받아 중요한 커널인 FlashAtmention에 대한 고급 최적화를 탐색할 수 있었습니다. 가장 놀라운 부분은 반복 작업의 속도였습니다. 공개적으로 사용 가능한 NKI, Neuron 프로파일러 및 아키텍처 문서를 사용하여 불과 일주일 만에 이전 기술 외에도 의미 있는 개선을 달성했습니다. 강력한 도구와 명확한 하드웨어 인사이트의 결합으로 우리 팀은 정교하고도 저수준의 최적화에 접근할 수 있었습니다.
AWS Trainium과 Neuron Kernel Interface(NKI)는 일반적으로 하드웨어별 최적화 작업을 지연시키는 장벽을 제거하여 우리와 같은 연구진이 더 빠르게 혁신할 수 있도록 지원합니다.”
Berkeley University of California
“Build on Trainium 프로그램을 통해 그의 팀은 정확한 스케줄링과 메모리 할당을 위한 Trainium ISA 및 API에 대한 직접적인 가시성을 포함하여 AWS Neuron의 새로운 NKI 오픈 소스 컴파일러 스택에 대한 완전한 액세스 권한을 얻었습니다. 이러한 수준의 가시성과 제어를 통해 학생들은 최적화 기회를 보다 쉽게 분석하고 성능이 우수한 구현을 더 효과적으로 발견할 수 있습니다.”
Christopher Fletcher, Associate Professor of Computer Science, University of California, Berkeley
University of Illinios Urbana/Champaign
“AWS Trainium과 Inferentia에 대한 액세스는 대규모의 효율적인 AI 시스템에 대한 연구와 교육을 발전시키는 데 중요한 역할을 했습니다. 우리는 이러한 플랫폼을 전문가 혼합 훈련 및 추론 최적화, 새로운 액셀러레이터 아키텍처의 확장성, 효율성 및 이식성을 향상시키는 새로운 런타임과 스케줄링 기술의 프로토타이핑에 사용합니다. UIUC 연구원은 Neuron Developer 스택을 활용하여 AI 워크로드의 효율성과 이식성을 향상시키는 새로운 런타임 및 스케줄링 기술을 개발하고 있습니다. 팀은 특히 Neuron Developer 스택의 개방성에 깊은 인상을 받았습니다. 해당 플랫폼은 런타임 연구에 유용하게 활용할 수 있고 희소성, 메모리 계층 구조 및 통신 효율성의 혁신을 기존 GPU 아키텍처를 뛰어 넘습니다.”
University of California Los Angeles
“학생들과 저는 AWS Trainium과 Build on Trainium 프로그램을 활용하여 양자 회로 시뮬레이션을 현저하게 가속화할 수 있었습니다. 이 프로젝트에는 고성능 시뮬레이터를 공동으로 구축한 강력한 학생 그룹이 참여하여 이전에는 불가능했던 규모로 심층적인 실험과 실습 학습이 가능하게 되었습니다.”
University of Technology Sydney
“UTS 연구팀은 맞춤형 Neuron NKI 커널을 개발하여 트리링 워터마킹 알고리즘의 통합을 모색하고 있습니다. Build on Trainium 프로그램을 통해 오픈 소스 뉴런 스택에 액세스할 수 있게 된 것은 혁신적이었습니다. 이를 통해 Trainium 아키텍처에 대한 전례 없는 가시성과 하드웨어 수준에서 직접 작업할 수 있습니다. Trainium 액세스를 통해 우리 팀은 워터마킹 워크로드를 크게 가속화하여 반복 주기를 줄이고 더 복잡한 모델과 기술을 탐색할 수 있게 되었습니다. 이러한 심도 있는 접근성을 통해 연구원들은 새로운 아이디어의 프로토타입을 만들고, 저수준 최적화를 실험하고, 최신 AI 가속기에서 워터마킹 시스템이 달성할 수 있는 한계를 뛰어넘을 수 있습니다.”
