Amazon Web Services ブログ

Category: AWS Big Data

AWS Glue 5.0 の Apache Spark におけるオープンテーブルフォーマット機能の活用

この記事では、AWS Glue 5.0 における Apache Iceberg、Delta Lake、Apache Hudi のオープンテーブルフォーマットライブラリの主要なアップデートについて解説します。ブランチとタグによるライフサイクル管理、変更ログビュー、ストレージパーティション結合などの新機能を紹介します。

AWS Lambda と AWS Glue Iceberg REST エンドポイントを使用した PyIceberg による軽量な分析環境の実現

Apache Iceberg は、データレイクで人気の選択肢となっています。ACID (原子性、一貫性、独立性、永続性) トランザクション、スキーマ進化、タイムトラベル機能を提供します。Iceberg テーブルは、Apache Spark や Trino などの様々な分散データ処理フレームワークからアクセスできるため、多様なデータ処理のニーズに対して柔軟なソリューションとなります。そのような Iceberg を扱うためのツールの中で、PyIceberg は分散コンピューティングリソースを必要とせずに、Python スクリプト上でテーブルのアクセスと管理を可能にします。

この投稿では、AWS Glue Data Catalog と AWS Lambda と統合された PyIceberg が、直感的な Python インターフェースを通じて Iceberg の強力な機能を活用するための軽量なアプローチを提供する方法を示します。この統合により、チームはほとんどセットアップやインフラストラクチャの依存関係の設定を行わずとも Iceberg テーブルの操作や利用を開始できることを説明します。

Apache Iceberg on AWS Glue Data Catalog における同時書き込み競合の管理

この記事では、Iceberg テーブルで信頼性の高い同時書き込み処理メカニズムを実装する方法を示します。Iceberg の同時実行モデルを探り、一般的な競合シナリオを検討し、自動再試行メカニズムと、カスタムの競合解決ロジックが必要な状況の両方の実用的な実装パターンを提供して、レジリエントなデータパイプラインを構築します。また、AWS Glue Data Catalog テーブル最適化による自動コンパクションのパターンについても説明します。

Amazon OpenSearch Serverless によるあらゆる規模における費用対効果の高い検索機能

Amazon OpenSearch Serverless の今までより安価な新しいエントリーコストを発表できることを喜ばしく思います。
インデクシングと検索のワークロードに対して 0.5 OpenSearch Compute Unit (OCU) がサポートされたことで、エントリーコストが半分になりました。

← Older posts