Category: Advanced (300)

2023年5月4日、Amazon SageMaker が AWS Inferentia2 (ml.inf2) と AWS Trainium (ml.trn1) ベースの SageMaker インスタンスをサポートして、リアルタイムおよび非同期推論のための生成系 AI モデルをホストすることを発表しました。この記事では、大規模モデル推論 (LMI) コンテナを活用して、SageMaker を使用して AWS Inferentia2 に大規模な言語モデルをデプロイするプロセスを示します。

AWS Backup と VMware Cloud on AWS が、オンプレミスで VMware ワークロードを実行しているお客様にバックアップ、マイグレーション、およびディザスタリカバリのためのシンプルなソリューションを提供できるということを紹介します。お客様は、オンプレミスの VMware ワークロードを AWS クラウドに移行し、データ保護ソリューションをコスト効率よく拡張でき、運用の複雑さも最小限に抑えることができます。

多くのお客様は、AWS Application Migration Service (MGN)を使用してAWS […]

本稿では、AWS Inferentia2 上で大規模言語モデルをデプロイする方法を解説します。ここでは、AWS Neuron ソフトウェア開発キット (SDK) を使って Inferentia デバイスにアクセスし、その高いパフォーマンスの恩恵を受けます。そして、モデルサービングのソリューションとして、Deep Java Library (DJLServing) を搭載した大規模モデル推論コンテナを使用します。Amazon Elastic Compute Cloud (Amazon EC2) の inf2.48xlarge インスタンスに OPT-13B モデルをデプロイし、これら3つのレイヤーがどのように連携しているかをデモンストレーションします。

このブログは、Everton Fraga によって書かれた Introducing token-based a […]

データをクラウドに移行するには、さまざまなタイプのデータ移行経験や、ソースデータ構造やメタデータを保持する仕組みが必要です。お客様はオンプレミスのファイルデータを従来のファイルサーバーに格納する際、データライフサイクル管理等の理由でデータ作成時のタイムスタンプを併せて保持することが多くあります。一方でお客様は、データ構造やメタデータを保持しハイブリッドクラウド構成をサポートするような、クラウドへの移行方法を悩まれているのではないでしょうか。その結果として、お客様はコストやパフォーマンス、スケールなど、クラウドストレージのメリットを最大限享受できなくなります。

Amazon OpenSearch Service を運用していく中で、クラスター構成やインデックス設定がワークロードに適していないことでパフォーマンスの問題が生じることがあります。短期的にはクラスタのスケールといった対処も必要ですが、原因を精査することがその後の運用において重要です。本記事では、パフォーマンストラブルが起きた際に確認すべきポイントを、順を追って紹介していきます。各ポイントは質問の形式で記載されているので、質問への回答を作成しながら根本原因の調査や、対処を検討するための参考情報を整理することができます。

トロリ線や電柱、信号機や踏切といった線路内の設備から変電所に至るまでさまざまな鉄道電気設備のメンテナンスを行っています。これまで、メンテナンスで撮影された設備の写真はクラウドに一括して保存するだけになっており、活用できていないことが課題になっていました。より効率的なメンテナンス業務の実現を目指し、まずはこの大量に蓄積された写真を、AI で設備を分類し、加えて時系列順にアルバムのように整理できないかと考えました。この AI の開発を JR 東日本情報システムのテクノロジー応用研究センターの方々と取り組んでまいりました。

このブログは 2023 年 3 月 28 日に James Kuhlke（Principal Solution […]

Amazon CodeCatalyst ワークフローは、継続的インテグレーションおよび継続的デリバリー (CI/CD) システムの一部としてコードをビルド、テスト、デプロイする方法を記述する自動化されたプロシージャです。CodeCatalyst ワークフローでは、GitHub Actions を CodeCatalyst アクションと一緒に使用できます。