Amazon Web Services ブログ
Category: AWS Inferentia
大規模モデル推論コンテナを使って AWS Inferentia2 に大規模言語モデルをデプロイ
本稿では、AWS Inferentia2 上で大規模言語モデルをデプロイする方法を解説します。ここでは、AWS Neuron ソフトウェア開発キット (SDK) を使って Inferentia デバイスにアクセスし、その高いパフォーマンスの恩恵を受けます。そして、モデルサービングのソリューションとして、Deep Java Library (DJLServing) を搭載した大規模モデル推論コンテナを使用します。Amazon Elastic Compute Cloud (Amazon EC2) の inf2.48xlarge インスタンスに OPT-13B モデルをデプロイし、これら3つのレイヤーがどのように連携しているかをデモンストレーションします。
低コストで高性能な生成系 AI 推論用の Amazon EC2 Inf2 インスタンスが一般公開されました
深層学習 (DL) のイノベーション、特に大規模言語モデル (LLM) の急速な成長は、業界を席巻しました。D […]
ByteDance が AWS Inferentia の利用により、推論におけるレイテンシの削減とスループットの向上とともに、最大で60%のコスト削減を実現
この記事は、 “ByteDance saves up to 60% on inference co […]
Amazon Search がAWS Inferentiaで検索システムのコストを85%削減
この記事は How Amazon Search reduced ML inference costs by 8 […]
独自設計チップ AWS Trainium 搭載 Amazon EC2 Trn1 インスタンスで ML トレーニングを高速実行（実践編）
こんにちは！アマゾン ウェブ サービス ジャパン合同会社 アンナプルナラボの常世です。 2022 年 10 月 […]
【開催報告】「AWS 秋の Amazon EC2 Deep Dive 祭り 2022」セミナー
ソリューションアーキテクトの渡辺です。2022年10月13日に「AWS 秋の Amazon EC2 Deep […]
独自設計チップ AWS Trainium 搭載 Amazon EC2 Trn1 インスタンスで ML トレーニングを高速実行（基礎編）
こんにちは！アマゾン ウェブ サービス ジャパン合同会社 アンナプルナラボの常世です。 アンナプルナラボって何 […]
InfoJobs (Adevinta) が AWS Inferentia と Amazon SageMaker で NLP モデル予測のパフォーマンスをどのように向上させたか
この記事は、Adevinta Spain 社の ML エンジニアである Juan Francisco Fern […]
【お客様事例】株式会社 NTTPC 様 Amazon EC2 Inf1 インスタンス、姿勢推定推論サービスのコストパフォーマンス最適化の取り組み
2021 年 10 月 14 日にAmazon EC2をテーマとしたイベント「Amazon EC2 大活用 ~ […]
Amazon SageMaker でコンピュータビジョン推論に最適な AI アクセラレータとモデルコンパイルを選択
この記事は、2021 年 10 月 19 日に Davide Gallitelli 、 Hasan Poona […]