Amazon Web Services ブログ

Category: Amazon Simple Storage Service (S3)

DuckDB で Amazon S3 Tables に格納された表形式データセットへのアクセスを効率化する

DuckDB は軽量なインメモリ SQL エンジンで、追加のサーバー運用なしに対話型のデータ分析を実現します。本記事では、Amazon SageMaker Lakehouse Iceberg REST エンドポイントと AWS Lake Formation のアクセス許可を利用して、AWS CloudShell 上の DuckDB から Amazon S3 Tables に格納された Iceberg テーブルにアクセスし、クエリを実行する手順を紹介します。

Kite、AWS HealthOmics を活用し細胞治療研究向けのスケーラブルなバイオインフォマティクスを推進

Gilead 傘下の Kite は、プロジェクトごとに分断されていたバイオインフォマティクスのワークフローを、AWS HealthOmics を軸にした標準化されたクラウド基盤へ移行しました。本記事では、オンプレミスのシーケンサーから電子実験ノート (ELN) を入口にしたワークフロー実行までを自動化したイベント駆動アーキテクチャと、その設計上の判断を紹介します。18 か月以上の本番稼働で 20 個のワークフローを運用し、100 名を超える研究者が ELN からバイオインフォマティクスワークフローを利用できるようになりました。

Outpost VFX が ビジュアルエフェクト向けに AI モデルのトレーニングを AWS で加速した方法

本記事では、Outpost VFX が AWS インフラを活用してトレーニング速度を 8 倍に向上させ、顔置換ワークフローを刷新した方法、単一 GPU の限界を克服するために実装した技術アーキテクチャ、そして AWS マルチ GPU トレーニングで得られた具体的な成果について紹介します。

Amazon OpenSearch Service の書き込み可能なウォームストレージでコストと運用負荷を削減

Amazon OpenSearch Service に、書き込み可能なウォームストレージ (writable warm) が加わりました。UltraWarm では履歴データの更新にホットとの往復が必要でしたが、writable warm ならウォームに直接書き込めます。インフラコストは最大 48% 削減でき、更新も数時間ではなく数秒で完了します。

Metagenomi が LanceDB と Amazon S3 で実現した 10 億ベクトル超のスケーラブルな検索基盤

Metagenomi は LanceDB、Amazon S3、AWS Lambda を組み合わせ、35 億件のタンパク質エンベディングを低コストで保存・検索するサーバーレスソリューションを構築しました。データをバケット分割して並列インデックス化し、map-reduce 方式で検索する設計により、常時稼働サーバーなしで数十億ベクトル規模の近似最近傍検索を実現しています。