Amazon SageMaker AI를 통한 Amazon Nova 맞춤화 기능 출시

오늘 AWS는 Amazon SageMaker AI의 Amazon Nova용 커스터마이징 기능 제품군을 발표합니다. 이제 고객은 사전 훈련, 지도형 미세 조정, 조율 등, 모델 훈련 수명 주기 전반에 걸쳐 Nova Micro, Nova Lite, Nova Pro를 커스터마이징할 수 있습니다. 이들 기법은 바로 사용할 수 있는 Amazon SageMaker 레시피로 제공되고 Amazon Bedrock에 원활하게 배포할 수 있으며, 온디맨드 처리량 추론과 프로비저닝된 처리량 추론을 모두 지원합니다.

Amazon Nova 파운데이션 모델은 여러 산업 분야에 걸쳐 다양한 생성형 AI 사용 사례를 지원합니다. 고객이 배포 규모를 확대함에 따라, 독점 지식, 워크플로 및 브랜드 요구 사항을 반영하는 모델이 필요하게 됩니다. 프롬프트 최적화와 검색 증강 생성(RAG)은 범용 파운데이션 모델을 애플리케이션에 통합하는 데 효과적이지만, 비즈니스 크리티컬 워크플로에서는 특정한 정확도, 비용 및 지연 시간 요구 사항을 충족하도록 모델을 커스터마이징해야 합니다.

적합한 커스터마이징 기법 선택
Amazon Nova 모델은 1) 지도형 미세 조정, 2) 조율, 3) 지속적인 사전 훈련, 4) 지식 증류 등 다양한 커스터마이징 기법을 지원합니다. 최적의 기법은 목표, 사용 사례의 복잡성, 데이터 및 컴퓨팅 리소스의 가용성에 따라 달라집니다. 또한 여러 기법을 결합하여 원하는 성능, 비용 및 유연성 조합으로 원하는 결과를 달성할 수도 있습니다.

지도형 미세 조정(SFT)은 입력-출력 쌍으로 이루어진 학습 데이터를 활용하여 대상 작업 및 도메인에 맞게 모델 파라미터를 커스터마이징하는 기법입니다. 데이터 볼륨과 비용 고려 사항에 따라 다음 두 가지 구현 방식 중 하나를 선택합니다.

• 파라미터 효율적 미세 조정(PEFT) – Low-Rank Adaptation(LoRa)과 경량 어댑터 레이어를 통해 모델 파라미터의 일부만 업데이트합니다. 전체 미세 조정에 비해 훈련 속도가 빠르고 컴퓨팅 비용이 낮습니다. PEFT에 맞게 조정된 Nova 모델을 Amazon Bedrock으로 가져온 후 온디맨드 추론을 사용하여 간접적으로 호출합니다.
• 전체 미세 조정(FFT) – 모델의 모든 파라미터를 업데이트하며 훈련 데이터세트(수만 개의 레코드)의 크기가 방대한 시나리오에 적합합니다. FFT를 통해 커스터마이징된 Nova 모델을 Amazon Bedrock으로 가져와서 프로비저닝된 처리량을 사용한 추론을 위해 간접 호출할 수도 있습니다.

조율은 회사 브랜드, 고객 경험 요구 사항 등의 기대하는 제품별 니즈와 행동에 맞게 모델 출력을 조율하는 기법입니다. 이러한 선호도는 경험적 예와 정책을 포함하여 다양한 방식으로 인코딩될 수 있습니다. Nova 모델은 두 가지 선호도 조율 기법을 지원합니다.

• 직접 선호도 최적화(DPO) – 선호/비선호 응답 쌍을 사용하여 모델 출력을 조정하는 간단한 방법을 제공합니다. DPO는 비교 선호도를 학습하여 톤, 스타일 등의 주관적 요구 사항에 맞게 출력을 최적화합니다. DPO는 파라미터 효율적 버전과 전체 모델 업데이트 버전을 모두 제공합니다. 파라미터 효율적 버전은 온디맨드 추론을 지원합니다.
• 근접 정책 최적화(PPO) – 강화 학습을 사용하여 유용성, 안전성 또는 인게이지먼트와 같은 원하는 보상을 최적화함으로써 모델 동작을 개선합니다. 보상 모델은 출력에 점수를 매겨 최적화를 유도하며, 모델이 이전에 학습한 기능을 유지하면서 효과적인 행동을 학습할 수 있도록 보조합니다.

지속적 사전 훈련(CPT)은 내부 문서, 기록, 비즈니스별 콘텐츠 등 레이블링되지 않은 대량의 독점 데이터에 대한 자체 지도 학습을 통해 파운데이션 모델 지식을 확대합니다. CPT에 이은 SFT와 DPO 또는 PPO를 통한 조율은 애플리케이션에 맞게 Nova 모델을 커스터마이징할 수 있는 포괄적인 방법을 제공합니다.

지식 증류는 대규모 ‘교사’ 모델에서 더 작고 빠르며 비용 효율적인 ‘학생’ 모델로 지식을 이전합니다. 증류는 고객이 적절한 기준 입출력 샘플을 가지고 있지 않으며, 보다 강력한 모델을 활용하여 훈련 데이터를 강화할 수 있는 시나리오에서 유용합니다. 이 프로세스는 특정 사용 사례에 대해 교사 수준의 정확도를 가지면서도 학생 수준의 비용 효율성 및 속도를 제공하는 커스터마이징된 모델을 생성합니다.

다음 표에는 다양한 양식 및 배포 옵션에 사용할 수 있는 커스터마이징 기법이 요약되어 있습니다. 각각의 기법은 사용자의 구현 요구 사항에 따라 특정한 훈련 및 추론 기능을 제공합니다.

Cosine AI, 매사추세츠 공과대학(MIT) 컴퓨터 과학 및 인공 지능 연구소(CSAIL), Volkswagen, Amazon Customer Service, Amazon Catalog Systems Service를 비롯한 얼리 액세스 고객은 이미 Amazon Nova 커스터마이징 기능을 효과적으로 활용하고 있습니다.

Nova 모델 커스터마이징 기능 사용 방법
아래에서 기존 선호도 데이터세트에서 직접 선호도 최적화를 사용하여 Nova Micro 모델을 커스터마이징하는 예를 보여드리겠습니다. Amazon SageMaker Studio를 사용하여 이 작업을 수행할 수 있습니다.

Amazon SageMaker AI 콘솔에서 SageMaker Studio를 시작하고, 몇 번의 클릭으로 배포할 수 있는 파운데이션 모델, 내장 알고리즘 및 사전 구축된 ML 솔루션을 제공하는 기계 학습(ML) 허브인 JumpStart를 선택합니다.

그런 다음 Nova 모델 제품군 중 추론당 비용이 가장 낮고 응답 지연 시간이 가장 짧은 텍스트 전용 모델인 Nova Micro를 선택하고 훈련을 선택합니다.

다음으로, 미세 조정 레시피를 선택하면 레이블링된 데이터로 모델을 훈련하여 특정 작업의 성능을 개선하고 원하는 동작에 맞게 조정할 수 있습니다. 직접 선호도 최적화를 선택하면 원하는 대로 모델 출력을 조정할 수 있는 간단한 방법이 제공됩니다.

샘플 노트북 열기를 선택하면 두 가지 환경 옵션, 즉 SageMaker 훈련 작업 또는 SageMaker Hyperpod에서 레시피를 실행할 수 있습니다.

클러스터를 생성할 필요가 없는 경우 SageMaker 훈련 작업에서 레시피 실행을 선택하고 JupyterLab 스페이스를 선택하여 샘플 노트북으로 모델을 훈련합니다.

또는 반복 훈련 프로세스에 최적화된 영구 클러스터 환경을 원하는 경우 SageMaker HyperPod에서 레시피 실행을 선택합니다. 하나 이상의 제한된 인스턴스 그룹(RIG)이 있는 HyperPod EKS 클러스터를 선택하여, 그러한 Nova 모델 훈련에 필요한 특수 격리 환경을 제공할 수 있습니다. 그런 다음 JupyterLabSpace와 샘플 노트북 열기를 차례로 선택합니다.

이 노트북은 레시피가 포함된 SageMaker Nova 모델을 사용하여 SageMaker HyperPod 작업을 생성하고 추론을 위해 배포하는 방법을 전반적으로 안내합니다. SageMaker HyperPod 레시피를 사용하면 복잡한 구성을 간소화하고, 데이터세트를 원활하게 통합하여 훈련 작업을 최적화할 수 있습니다.

SageMaker Studio에서 SageMaker HyperPod 작업이 성공적으로 생성된 것을 확인할 수 있으며, 이후 진행 상황을 모니터링할 수 있습니다.

작업이 완료되면 벤치마크 레시피를 사용하여 커스터마이징 모델이 에이전트 작업에서 더 뛰어난 성능을 발휘하는지 평가할 수 있습니다.

포괄적인 설명서와 추가 구현 예를 보려면 GitHub의 SageMaker HyperPod 레시피 리포지토리를 방문하세요. AWS는 고객 피드백과 새로운 ML 트렌드에 따라 레시피를 꾸준히 확장하여, 고객에게 성공적인 AI 모델 커스터마이징에 필요한 도구를 제공하고 있습니다.

가용성 및 시작하기
Amazon SageMaker AI의 Amazon Nova용 레시피는 미국 동부(버지니아 북부)에서 사용할 수 있습니다. Amazon Nova 커스터마이징 웹 페이지와 Amazon Nova 사용 설명서를 참조하여 이 기능에 대해 자세히 알아보고, Amazon SageMaker AI 콘솔에서 사용을 시작하세요.

– Betty