Amazon Web Services ブログ

Tag: Analytics

AWS Lambda と AWS Glue Iceberg REST エンドポイントを使用した PyIceberg による軽量な分析環境の実現

Apache Iceberg は、データレイクで人気の選択肢となっています。ACID (原子性、一貫性、独立性、永続性) トランザクション、スキーマ進化、タイムトラベル機能を提供します。Iceberg テーブルは、Apache Spark や Trino などの様々な分散データ処理フレームワークからアクセスできるため、多様なデータ処理のニーズに対して柔軟なソリューションとなります。そのような Iceberg を扱うためのツールの中で、PyIceberg は分散コンピューティングリソースを必要とせずに、Python スクリプト上でテーブルのアクセスと管理を可能にします。

この投稿では、AWS Glue Data Catalog と AWS Lambda と統合された PyIceberg が、直感的な Python インターフェースを通じて Iceberg の強力な機能を活用するための軽量なアプローチを提供する方法を示します。この統合により、チームはほとんどセットアップやインフラストラクチャの依存関係の設定を行わずとも Iceberg テーブルの操作や利用を開始できることを説明します。

Apache Iceberg on AWS Glue Data Catalog における同時書き込み競合の管理

この記事では、Iceberg テーブルで信頼性の高い同時書き込み処理メカニズムを実装する方法を示します。Iceberg の同時実行モデルを探り、一般的な競合シナリオを検討し、自動再試行メカニズムと、カスタムの競合解決ロジックが必要な状況の両方の実用的な実装パターンを提供して、レジリエントなデータパイプラインを構築します。また、AWS Glue Data Catalog テーブル最適化による自動コンパクションのパターンについても説明します。

Docker コンテナを使って AWS Glue 5.0 のジョブをローカルで開発・テストする

AWS Glue は、さまざまな開発ニーズに対応するため、Amazon ECR Public Gallery を通じて公式の AWS Glue Docker イメージを提供しています。この記事では、Docker コンテナを使用して AWS Glue 5.0 ジョブをローカルで開発およびテストする方法を示します。

Generative BI 機能を活用して Amazon QuickSight の分析の埋め込み体験を強化

Amazon QuickSight は、AWS の AI 搭載のビジネスインテリジェンス (BI) サービスであり、お客様がより迅速にインサイトを得て、より良い意思決定を行うことを支援します。また埋め込み機能を用いて、カスタマイズされたインタラクティブなビジュアルとダッシュボードをあらゆるアプリケーションに簡単に追加できます。本記事では、Amazon Q を使用した、Amazon QuickSight のコンソール埋め込みとダッシュボード埋め込みの新しい機能についてご紹介します。

Amazon OpenSearch Ingestion で AWS Lambda をプロセッサとして使用し、埋め込みベクトルを生成する

2024 年 11 月 22 日、Amazon OpenSearch Ingestion が AWS Lambda プロセッサのサポートを開始しました。
この機能により、OpenSearch Ingestion パイプラインでログ、メトリクス、トレースデータを加工・変換する柔軟性が高まりました。
本ブログでは、OpenSearch Ingestion の Lambda プロセッサを使用して、ソースデータの埋め込みベクトルを生成し、OpenSearch Serverless ベクトルコレクションに取り込む方法を紹介します。

コスト最適化されたベクトルデータベース: Amazon OpenSearch Service の量子化手法の概要

OpenSearch の量子化手法を活用することで、組織はコスト効率、パフォーマンス、再現率のバランスを考慮した選択が可能になり、最適な結果を得るためにベクトルデータベースの操作を微調整できるようになります。これらの量子化手法は、メモリ要件を大幅に削減し、クエリの効率を向上させ、シームレスな圧縮のための組み込みエンコーダーを提供します。大規模なテキスト埋め込み、画像特徴量、その他の高次元データのいずれを扱う場合でも、OpenSearch の量子化手法はベクトル検索の要件に対する効率的なソリューションを提供し、コスト効率が高く、スケーラブルで高性能なシステムの開発を可能にします。

OpenSearch ベクトルエンジンのディスク最適化により、精度を維持しつつコスト削減が可能に

OpenSearch ベクトルエンジンは、OpenSearch 2.17 以降のドメインで、従来の 3 分の 1 のコストでベクトル検索を実行できるようになりました。k-NN (ベクトル) インデックスをディスクモードで実行するように設定し、メモリに制約のある環境に最適化することで、数百ミリ秒単位で応答する低コストで正確なベクトル検索が可能になりました。ディスクモードは、一桁ミリ秒に近いレイテンシーを求めない場合、従来のメモリモードの経済的な代替手段となります。

Upbound Group が最新の POS プラットフォームを AWS で構築

Upbound Group Inc. (NASDAQ: UPBD) は、テキサス州 Plano に本社を置くオムニチャネルプラットフォーム企業です。 消費者の進化するニーズや期待に応える、革新的で包括的、かつテクノロジー主導の金融ソリューションを提供することに力を入れています。 Upbound Group の顧客向け事業部門には、Rent-A-Center® や Acima® などの業界をリードするブランドが含まれ、店舗をベースとしたさまざまな小売チャネルおよびデジタル小売チャネルでもブランド企業と消費者とが容易に取引できるようにしています。

← Older posts