Khách hàng sử dụng Amazon SageMaker HyperPod

Hugging Face đã sử dụng SageMaker HyperPod để tạo ra các mô hình nền tảng mở mới quan trọng như StarCoder, IDEFICS và Zephyr – tất cả đều có hàng triệu lượt tải xuống. Khả năng phục hồi và hiệu suất được xây dựng có mục đích của SageMaker HyperPod đã cho phép nhóm khoa học mở của chúng tôi tập trung vào việc đổi mới và công bố những cải tiến quan trọng về cách xây dựng các mô hình nền tảng, thay vì quản lý cơ sở hạ tầng. Chúng tôi đặc biệt thích cách SageMaker HyperPod có thể phát hiện lỗi phần cứng ML và nhanh chóng thay thế phần cứng bị lỗi mà không làm gián đoạn quá trình đào tạo mô hình đang diễn ra. Vì các nhóm của chúng tôi cần đổi mới nhanh chóng nên tính năng khôi phục công việc tự động này đã giúp chúng tôi giảm thiểu sự gián đoạn trong quá trình đào tạo mô hình nền tảng, nhờ đó tiết kiệm được hàng trăm giờ đào tạo chỉ trong một năm.

Chúng tôi đang tìm kiếm cơ sở hạ tầng ML phù hợp để tăng năng suất và giảm chi phí nhằm xây dựng các mô hình ngôn ngữ lớn có hiệu suất cao. Sau khi chạy một vài thử nghiệm thành công, chúng tôi đã ngừng làm việc với các nhà cung cấp dịch vụ đám mây khác và chuyển sang AWS để sử dụng Amazon SageMaker HyperPod. Chúng tôi đã sử dụng HyperPod trong bốn tháng qua để xây dựng và tinh chỉnh các LLM nhằm hỗ trợ công cụ trả lời hội thoại Perplexity, công cụ này sẽ trả lời các câu hỏi và cung cấp tài liệu tham khảo dưới dạng trích dẫn. Vì SageMaker HyperPod tự động theo dõi tình trạng cụm và khắc phục lỗi GPU, nên các nhà phát triển của chúng tôi có thể tập trung vào việc xây dựng mô hình thay vì dành thời gian quản lý và tối ưu hóa cơ sở hạ tầng cơ bản. Thư viện lưu trữ song song dữ liệu và mô hình tích hợp của SageMaker HyperPod đã giúp chúng tôi tối ưu hóa thời gian đào tạo trên GPU và tăng gấp đôi thông lượng đào tạo. Do đó, các thử nghiệm đào tạo của chúng tôi giờ đây có thể chạy nhanh gấp đôi, đồng nghĩa với việc những nhà phát triển của chúng tôi có thể lặp lại nhanh hơn, đẩy nhanh quá trình phát triển các trải nghiệm AI tạo sinh mới cho khách hàng.

Amazon SageMaker HyperPod đã giúp chúng tôi rất nhiều trong việc quản lý và vận hành các tài nguyên điện toán hiệu quả hơn với thời gian ngừng hoạt động tối thiểu. Chúng tôi là những người đầu tiên sử dụng dịch vụ HyperPod dựa trên Slurm và được hưởng lợi từ tính dễ sử dụng và khả năng phục hồi của dịch vụ này, giúp cải thiện năng suất lên tới 35% và nhanh chóng tăng quy mô theo tài nguyên cho các hoạt động GenAI của chúng tôi. Là một đơn vị Kubernetes, hiện chúng tôi rất vui mừng chào đón sự ra mắt tính năng hỗ trợ Amazon EKS cho SageMaker HyperPod. Đây là một bước đột phá đối với chúng tôi vì tính năng này tích hợp liền mạch với những quy trình đào tạo hiện có của chúng tôi, giúp chúng tôi quản lý và vận hành các cụm Kubernetes quy mô lớn dễ dàng hơn. Ngoài ra, điều này cũng giúp ích cho khách hàng cuối của chúng tôi vì giờ đây chúng tôi có thể đóng gói và đưa năng lực này vào nền tảng GenAI dưới dạng sản phẩm, cho phép khách hàng tự chạy chương trình đào tạo và tinh chỉnh khối lượng công việc theo cách hợp lý hơn.

Thomson Reuters đã đi đầu trong phát triển AI trong hơn 30 năm và chúng tôi cam kết cung cấp các giải pháp có ý nghĩa giúp khách hàng đưa ra kết quả nhanh hơn, với khả năng truy cập tốt hơn vào thông tin đáng tin cậy. Để đẩy nhanh quá trình đổi mới trong AI tạo sinh, ngoài việc hợp tác với các nhà cung cấp LLM, chúng tôi còn đang khám phá cách đào tạo những mô hình tùy chỉnh hiệu quả hơn bằng nội dung độc quyền và chuyên môn của con người. Thư viện đào tạo phân tán của SageMaker HyperPod giúp chúng tôi cải thiện hiệu suất đào tạo mô hình quy mô lớn. Và tính năng phục hồi của công cụ này giúp tiết kiệm thời gian khi chúng tôi giám sát và quản lý cơ sở hạ tầng. Việc đào tạo các mô hình nền tảng của chúng tôi trên SageMaker HyperPod sẽ giúp chúng tôi tăng tốc độ đưa sản phẩm ra thị trường và nhanh chóng cung cấp các giải pháp chất lượng cho khách hàng.

Với tư cách là công ty AI tạo sinh nguồn mở hàng đầu, mục tiêu của chúng tôi là tối đa hóa khả năng tiếp cận AI hiện đại. Chúng tôi đang xây dựng các mô hình nền tảng với hàng chục tỷ tham số, đòi hỏi cơ sở hạ tầng có thể điều chỉnh quy mô hiệu suất đào tạo được tối ưu hóa. Với cơ sở hạ tầng được quản lý và thư viện tối ưu hóa của SageMaker HyperPod, chúng tôi có thể giảm hơn 50% thời gian và chi phí đào tạo. Việc này giúp hoạt động đào tạo mô hình của chúng tôi linh hoạt hơn và hiệu quả hơn, qua đó xây dựng được những mô hình hiện đại nhanh hơn.

Toàn bộ quá trình đã được đơn giản hóa. Bằng cách sử dụng SageMaker HyperPod, chúng tôi có thể tận dụng các tính năng phục hồi cụm nhằm xác định và tự động khôi phục các công việc đào tạo từ điểm kiểm tra đã lưu gần đây nhất trong trường hợp xảy ra lỗi phần cứng. Chúng tôi chạy khối lượng công việc rất đa dạng – từ ứng dụng, suy luận và đào tạo – với Kubernetes làm nền tảng chung. Đối với chúng tôi, Amazon EKS với SageMaker HyperPod hoạt động rất ăn ý: các nút chỉ cần thả vào cụm của chúng tôi.

Với Amazon SageMaker HyperPod, chúng tôi đã xây dựng và triển khai các mô hình nền tảng đằng sau nền tảng AI trợ lý ảo của mình bằng cùng hệ thống tính toán hiệu suất cao đó. Sự chuyển đổi liền mạch này từ đào tạo sang suy luận đã hợp lý hóa quy trình làm việc của chúng tôi, giảm thời gian sản xuất và đảm bảo hiệu suất nhất quán trong môi trường vận hành thực tế. HyperPod đã giúp chúng tôi đi từ thử nghiệm sang tác động trong thế giới thực với tốc độ và hiệu quả cao hơn.

Chúng tôi rất hào hứng khi được sử dụng giải pháp quan sát một lần nhấp của Amazon SageMaker HyperPod. Các thành viên cấp cao trong nhóm của chúng tôi cần có cái nhìn sâu sắc về cách chúng tôi đang sử dụng các tài nguyên GPU đắt tiền. Bảng điều khiển Grafana được xây dựng sẵn sẽ cung cấp cho chúng tôi chính xác những gì chúng tôi cần, với khả năng hiển thị ngay lập tức về các chỉ số quan trọng - từ việc sử dụng GPU cụ thể cho nhiệm vụ đến hiệu suất hệ thống tệp (FSx for Lustre) - mà không cần duy trì cơ sở hạ tầng giám sát. Là một người đánh giá cao sức mạnh của Ngôn ngữ truy vấn Prometheus, tôi thích việc có thể tự viết truy vấn và phân tích các chỉ số tùy chỉnh mà không phải lo lắng về hạ tầng.

Chúng tôi đang mở rộng quan hệ đối tác với AWS với tư cách là đối tác ra mắt cho quản trị tác vụ Amazon SageMaker HyperPod. Quan hệ hợp tác với AWS sẽ cho phép chúng tôi hướng dẫn khách hàng hướng tới những đột phá công nghệ mới nhất đồng thời giúp giảm chi phí ứng dụng AI tạo sinh. Bằng cách kết hợp các khả năng quản trị tập trung trong SageMaker HyperPod cũng như nhờ kinh nghiệm của chúng tôi trong các dự án AI tạo sinh, chúng tôi có thể giúp các công ty nhận ra giá trị của AI tạo sinh nhanh hơn nữa, cải thiện trải nghiệm của khách hàng và tăng lợi tức đầu tư.

Chúng tôi rất vui mừng được hợp tác với AWS với tư cách là đối tác ra mắt cho quản trị tác vụ Amazon SageMaker HyperPod. Nhờ làm việc với AWS, giờ đây chúng tôi có thể giúp khách hàng nhanh chóng áp dụng những tiến bộ công nghệ mới nhất và giảm chi phí cho các ứng dụng AI tạo sinh của họ. Bằng cách kết hợp khả năng quản trị tập trung trong SageMaker HyperPod với trải nghiệm AI và đám mây phong phú của Slalom, chúng tôi có thể mang lại trải nghiệm khách hàng đặc biệt cùng với việc tăng lợi tức đầu tư.

Chúng tôi rất vui mừng được hợp tác với AWS với tư cách là đối tác ra mắt cho quản trị tác vụ SageMaker HyperPod. Chúng tôi có thể cùng nhau giúp khách hàng giảm chi phí cho các ứng dụng AI tạo sinh, đồng thời theo kịp những tiến bộ công nghệ mới nhất. Bằng cách kết hợp khả năng quản trị tập trung của SageMaker HyperPod với chuyên môn sâu về AI và đám mây của Rackspace, chúng tôi có thể chuyển đổi trải nghiệm của khách hàng, đồng thời cải thiện lợi tức đầu tư của họ.