Клиенты Amazon SageMaker HyperPod

Компания Hugging Face применила SageMaker HyperPod для создания новых важных моделей с открытой основой, таких как StarCoder, IDEFICS и Zephyr, которые были загружены миллионы раз. Специально разработанные возможности SageMaker HyperPod по обеспечению отказоустойчивости и производительности позволили нашей команде ученых сосредоточиться на развитии и публикации новых методов построения базовых моделей, а не на управлении инфраструктурой. Нам особенно понравилось, как хорошо SageMaker HyperPod справляется с аппаратными сбоями и быстро заменяет неисправное оборудование для машинного обучения, не прерывая текущие процессы. Поскольку нашим специалистам нужно быстро внедрять инновации, функция автоматического восстановления рабочих мест помогла нам свести к минимуму перерывы в процессе обучения базовых моделей и сэкономить сотни часов времени на обучение уже за первый год.

Мы искали подходящую инфраструктуру машинного обучения, которая позволит повысить производительность и снизить затраты при создании высокопроизводительных больших языковых моделей. Проведя несколько успешных экспериментов, мы перешли на AWS от других поставщиков облачных услуг, специально чтобы использовать Amazon SageMaker HyperPod. Последние четыре месяца мы используем HyperPod для создания и настройки больших языковых моделей, на которых будет основан механизм разговорных ответов Perplexity, предоставляющий ответы вопросы вместе с цитатами, содержащими справочные сведения. Поскольку SageMaker HyperPod автоматически отслеживает состояние кластера и восстанавливает его при сбоях в работе графического процессора, разработчики могут сосредоточиться на создании моделей и не отвлекаться на управление базовой инфраструктурой и ее оптимизацию. Встроенные параллельные библиотеки данных и моделей SageMaker HyperPod помогли нам оптимизировать время обучения на графических процессорах и удвоить его производительность. Это означает, что обучающие эксперименты теперь могут выполняться в два раза быстрее, и наши разработчики завершают итерации быстрее, что в итоге ускоряет разработку новых решений на основе генеративного искусственного интеллекта для наших клиентов.

Amazon SageMaker HyperPod очень помог нам более эффективно распоряжаться вычислительными ресурсами с минимальным временем простоя. Мы одними из первых применили сервис HyperPod на базе Slurm, и его простота использования в сочетании с отказоустойчивостью позволили повысить производительность на 35 % и быстро увеличить масштаб операций с генеративным искусственным интеллектом. Мы тесно связаны с Kubernetes, поэтому очень рады появлению поддержки Amazon EKS для SageMaker HyperPod. Для нас это существенно меняет ситуацию, позволяя легко интегрироваться с существующими конвейерами обучения и упростить управление крупномасштабными кластерами Kubernetes. Это приносит пользу и нашим конечным клиентам, поскольку теперь мы можем добавить эту возможность в нашу платформу генеративного искусственного интеллекта, а значит клиенты будут более эффективно проводить обучение и настраивать рабочие нагрузки.

Thomson Reuters уже более 30 лет находится на передовом крае развития искусственного интеллекта, и мы стремимся предоставлять нашим клиентам эффективные решения, которые ускорят получение результатов и повысят доступность достоверной информации. Чтобы ускорить внедрение инноваций в области генеративного искусственного интеллекта, мы не только сотрудничаем с поставщиками больших языковых моделей, но и изучаем возможности более эффективно обучать настраиваемые модели с применением нашего уникального опыта и запатентованного контента. Распределенные библиотеки для обучения SageMaker HyperPod помогают нам повысить эффективность обучения крупномасштабных моделей. А функция отказоустойчивости экономит время на операции по мониторингу инфраструктуры и управлению ею. Обучение базовых моделей с использованием SageMaker HyperPod ускорит выход на рынок и поможет нам в нужном темпе предоставлять качественные решения для наших клиентов.

Как ведущая компания в сфере генеративного искусственного интеллекта с открытым исходным кодом, мы стремимся максимально повысить доступность современных технологий искусственного интеллекта. Мы создаем базовые модели с десятками миллиардов параметров, для которых требуется инфраструктура с возможностью масштабироваться для оптимальной эффективности обучения. Благодаря управляемой инфраструктуре и библиотекам оптимизации SageMaker HyperPod мы смогли сократить время и затраты на обучение более чем на 50 %. Это делает обучение наших моделей более устойчивым к сбоям и более эффективным, а значит позволяет быстрее создавать самые современные модели.

Мы упростили весь процесс. Используя SageMaker HyperPod, мы можем воспользоваться функциями отказоустойчивости кластера, которые отслеживают задания по обучению и автоматически восстанавливают их по последней сохраненной контрольной точке в случае аппаратного сбоя. Мы выполняем самые разные рабочие нагрузки – рабочие приложения, логический вывод и обучение, – используя Kubernetes в качестве общей основы. Amazon EKS с SageMaker HyperPod у нас «просто работает», то есть узлы сами появляются в кластере.

С помощью Amazon SageMaker HyperPod мы создали и развернули базовые модели, которые лежат в основе нашей платформы агентного ИИ, используя те же высокопроизводительные вычислительные ресурсы. Этот плавный переход от обучения к выводам упростил наш рабочий процесс, сократил время производства, а также обеспечил стабильную эффективность в реальных условиях. Решение HyperPod помогло нам быстрее и успешнее перейти от экспериментов к реальному воздействию.

Мы рады применять решение Amazon SageMaker HyperPod для осуществления наблюдаемости в один клик. Нашим руководителям требовалась информация о том, как мы используем дорогостоящие ресурсы графических процессоров. Готовые панели управления Grafana предоставят именно то, что нам нужно, и позволят мгновенно получить доступ к важнейшим показателям – от использования графического процессора в конкретных задачах до производительности файловой системы (FSx для Lustre) – без необходимости поддерживать инфраструктуру мониторинга. Как человеку, который ценит возможности языка запросов Prometheus, мне нравится, что я могу писать собственные запросы и анализировать свои метрики, не беспокоясь о проблемах с инфраструктурой.

Мы рады расширить сотрудничество с AWS в качестве партнера по запуску системы управления задачами Amazon SageMaker HyperPod. Это партнерство позволит нам не только познакомить клиентов с последними технологическими достижениями, но и значительно снизить затраты на создание и использование приложений генеративного ИИ. Объединив возможности централизованного управления SageMaker HyperPod с нашим опытом в области генеративного ИИ, мы помогаем компаниям быстрее реализовать преимущества этой технологии, улучшить качество обслуживания клиентов и повысить окупаемость инвестиций.

Мы рады сотрудничать с AWS в качестве партнера по запуску системы управления задачами Amazon SageMaker HyperPod. Благодаря этому партнерству мы можем помочь нашим клиентам быстрее внедрять передовые технологические достижения и снижать затраты на генеративные приложения ИИ. Объединив возможности централизованного управления SageMaker HyperPod с обширным опытом Slalom в области ИИ и облачных технологий, мы создаем условия для предоставления исключительного качества обслуживания клиентов и повышения окупаемости инвестиций.

Мы рады сотрудничать с AWS в качестве партнера по запуску системы управления задачами SageMaker HyperPod. Вместе мы можем помочь нашим клиентам снизить затраты на приложения на основе генеративного ИИ, не отставая при этом от последних технологических достижений. Объединив возможности централизованного управления SageMaker HyperPod с глубоким опытом Rackspace в области ИИ и облачных технологий, мы создаем условия для трансформации качества обслуживания клиентов и повышения окупаемости инвестиций.