AWS Lambda | Amazon Web Services ブログ

小さなオブジェクトをコンパクションすることによるストレージコストとクエリパフォーマンスの最適化

本投稿では、Amazon S3 上の小さなオブジェクトを効率的にコンパクションする方法を探り、ログデータのストレージコストを最適化する効果的な方法であることを示します。AWS Step Functions を活用することで、数千の小さなオブジェクトを迅速かつ効率的にコンパクションできます。AWS Lambda を使用してコンパクションを実行することで、データコンパクションソリューションのコストを削減し、運用オーバーヘッドを軽減できます。

デジタル認証アプリサービス API を AWS と連携させてみよう

はじめにこんにちは、パブリックセクターのお客様向けにプロトタイピングの支援をしている、SA の鈴木です。早 […]

AWS Lambda と AWS Glue Iceberg REST エンドポイントを使用した PyIceberg による軽量な分析環境の実現

Apache Iceberg は、データレイクで人気の選択肢となっています。ACID (原子性、一貫性、独立性、永続性) トランザクション、スキーマ進化、タイムトラベル機能を提供します。Iceberg テーブルは、Apache Spark や Trino などの様々な分散データ処理フレームワークからアクセスできるため、多様なデータ処理のニーズに対して柔軟なソリューションとなります。そのような Iceberg を扱うためのツールの中で、PyIceberg は分散コンピューティングリソースを必要とせずに、Python スクリプト上でテーブルのアクセスと管理を可能にします。

この投稿では、AWS Glue Data Catalog と AWS Lambda と統合された PyIceberg が、直感的な Python インターフェースを通じて Iceberg の強力な機能を活用するための軽量なアプローチを提供する方法を示します。この統合により、チームはほとんどセットアップやインフラストラクチャの依存関係の設定を行わずとも Iceberg テーブルの操作や利用を開始できることを説明します。

NetApp ONTAP を使用してオンプレミスのデータを活用するための RAG ベース生成 AI アプリケーション

データを既存のデータストレージに保持したまま、AWS が提供する生成 AI 機能によってデータを活用するためのソリューションを NetApp と AWS の 2 社で開発しました。本記事では、共同開発ソリューションを使った国立大学法人広島大学様による実証実験の概要と、共同開発ソリューションの特徴についてご紹介します。