Recursos da arquitetura de lakehouse

As visualizações materializadas são tabelas gerenciadas do Apache Iceberg no Catálogo de Dados do AWS Glue que aceleram o desempenho das consultas de data lake do Spark em até 8 vezes. Essas visualizações armazenam resultados pré-computados de consultas no Iceberg que são atualizados automaticamente conforme os dados subjacentes são alterados, eliminando a necessidade de criar e manter pipelines de dados complexos.

Agora, o Catálogo de Dados do AWS Glue oferece suporte a vetores de exclusão e linhagem de linhas, conforme definido na especificação do Apache Iceberg V3. Esses recursos do Iceberg V3 ajudam você a criar data lakes em escala de petabytes com desempenho aprimorado para modificações de dados e funcionalidade para rastrear os registros alterados.

Acesse tabelas do Iceberg armazenadas no Amazon S3 e registradas em catálogos remotos diretamente dos mecanismos de analytics da AWS, de maneira segura e econômica, por meio da federação de catálogos no Catálogo de Dados do AWS Glue.

Obtenha flexibilidade para acessar e consultar seus dados no local, com qualquer ferramenta e mecanismo compatível com o Apache Iceberg de sua escolha.

Execute workloads de analytics e ML (incluindo trabalhos do Apache Spark, painéis SQL, modelos de ML e aplicações de IA generativa) em uma única cópia dos dados, armazenando-os no formato mais adequado para suas workloads.

Graças à compatibilidade com o Apache Iceberg, todos os dados são totalmente compatíveis com os princípios ACID (Atomicidade, Consistência, Isolamento e Durabilidade), garantindo SQL analytics de alta performance.

Execute consultas federadas em dados armazenados em várias fontes de terceiros, como Google BigQuery, SQL Server e Snowflake, para acessar e consultar seus dados no local.

Obtenha a flexibilidade de um data lake e a performance de um data warehouse, sem a necessidade de realizar alterações na arquitetura de dados existente. Acesse o armazenamento altamente otimizado do Amazon Redshift e as estruturas de dados secundárias, como visões materializadas, para acelerar a SQL analytics em seus data lakes.

Importe dados dos seus bancos de dados operacionais, como o Amazon DynamoDB, o Amazon Aurora para MySQL, o Amazon Aurora para PostgreSQL, o Amazon RDS para MySQL, e de aplicações, como Salesforce, ServiceNow e Zendesk, para Lakehouse usando integrações ETL zero para realizar analytics praticamente em tempo real.

Defina permissões refinadas uma vez e aplique-as a todos os seus dados em todas as ferramentas e mecanismos analíticos.