Os formatos de dados legados não foram criados para a IA.
Prepare seus dados para agentes com o AWS Support para o Apache Iceberg em toda a pilha de dados e IA
Dê aos seus agentes uma fonte única e aberta confiável
Os agentes de IA precisam de acesso governado aos dados distribuídos em data lakes, bancos de dados e aplicações. Sem um alicerce de dados unificado, as equipes de dados acabam gerenciando cópias, criando pipelines personalizados e retardando as iniciativas de IA que dependem de dados confiáveis.
É por isso que organizações como Comcast, Indeed e Vanguard
recorrem à AWS para garantir confiabilidade e interoperabilidade a todos os seus dados. Com o mais amplo suporte nativo ao Apache Iceberg de qualquer grande provedor de nuvem , abrangendo armazenamento, streaming, ETL, catálogo e análise , a AWS permite que todos os mecanismos e agentes acessem os mesmos dados confiáveis para que as equipes possam simplificar sua arquitetura e acelerar a entrega de IA.
Por que Apache Iceberg?
Recursos como transações ACID, evolução de esquemas, isolamento de snapshots e viagem no tempo integrada garantem que cada consulta tenha uma visão completa e consistente dos seus dados.
O Iceberg permite que você evolua esquemas de forma flexível e altere as estratégias de particionamento conforme suas necessidades mudam. E, como o Iceberg é um formato de tabela 100% de código aberto e conduzido pela comunidade, ele não está vinculado ao roteiro de um único fornecedor.
Consolide as workloads em uma única cópia controlada dos dados, elimine os pipelines de ETL redundantes e reduza os custos de armazenamento removendo conjuntos de dados duplicados em sistemas isolados.
Com suporte nativo em frameworks populares, como Apache Spark, Apache Flink e Presto, o Iceberg permite que você escolha a ferramenta de melhor desempenho para cada tarefa.
Por que escolher o AWS para Apache Iceberg?
O Amazon S3 armazena dados em sua própria conta em formatos abertos acessíveis por qualquer mecanismo compatível. Você sabe exatamente onde seus dados estão, pode auditar padrões de acesso por meio de registros em log detalhados no nível de solicitação e manter a propriedade total. O Amazon S3 oferece durabilidade, disponibilidade, segurança e desempenho líderes do setor, enquanto você mantém total controle e visibilidade.
O Apache Iceberg traz confiabilidade e simplicidade aos seus data lakes, mas o gerenciamento de tabelas do Iceberg pode levar horas de trabalho de engenharia. As Tabelas do Amazon S3 oferecem armazenamento com propósito específico para o Iceberg que otimiza a governança e automatiza tarefas rotineiras, como compactação e gerenciamento de snapshots, devolvendo horas de produtividade à sua equipe.
Saiba mais sobre a manutenção automatizada das Tabelas do Amazon S3 para o Apache Iceberg
Com os mecanismos da AWS, você nunca sacrifica o desempenho em troca de custo. As visualizações materializadas do Iceberg no AWS Glue aceleram o desempenho das consultas do Apache Spark em até 8 vezes, o Amazon EMR executa trabalhos de gravação do Apache Iceberg mais de 2 vezes mais rápido do que os equivalentes de código aberto e as instâncias RG do Amazon Redshift executam workloads do Apache Iceberg até 2,4 vezes mais rápido do que as gerações anteriores, com um custo até 30% menor.
Saiba mais sobre como trabalhar com o Apache Iceberg usando mecanismos e serviços da AWS
A abertura não acontece às custas da governança. A AWS permite oferecer a cada mecanismo e usuário uma visão consistente de quais tabelas existem, onde elas residem e como estão estruturadas. Com o AWS Lake Formation, defina políticas de acesso refinadas uma vez e elas serão aplicadas de forma consistente em todos os serviços da AWS.
Saiba mais sobre o AWS Lake Formation para tabelas Apache Iceberg
O Catálogo de Dados do AWS Glue e as Tabelas do Amazon S3 expõem os endpoints do catálogo REST do Iceberg. Assim, as tabelas do Iceberg no S3 funcionam com qualquer catálogo compatível. A federação de catálogos no AWS Glue permite que mecanismos da AWS, como o Amazon Redshift, Amazon Athena e Amazon EMR, consultem tabelas catalogadas em catálogos remotos do Iceberg sem copiar dados, oferecendo uma visão unificada de todos os seus dados, independentemente de onde estejam.
Saiba mais sobre a federação de catálogos para catálogos remotos do Iceberg
Suporte para todas as etapas de sua jornada de dados abertos
Seja para você modernizar do Apache Hive ou implantar agentes de IA em grande escala, a AWS oferece suporte a cada caso de uso
Base para a IA
Ofereça aos modelos e agentes de IA acesso controlado e versionado aos dados de produção com linhagem, controle de acesso refinado e viagem no tempo integrados. As equipes podem reproduzir treinamentos, auditar o comportamento dos agentes e reverter quando necessário, sem criar uma infraestrutura personalizada.
Modernização de lakehouses
Migre de tabelas legadas do Hive ou formatos proprietários para data lakes do Iceberg prontos para IA e arquiteturas de lakehouse sem tempo de inatividade ou regravação de dados. A AWS fornece caminhos de migração no local para que suas equipes possam se modernizar incrementalmente enquanto as workloads continuam em execução.
Como o Yelp modernizou sua infraestrutura de dados com um lakehouse de streaming na AWS
Migração no local em escala corporativa para o Apache Iceberg: Guia de implementação
Redução de custos
Pare de gerenciar metadados em catálogos desconectados. Centralize metadados essenciais para uma visão confiável e abrangente dos ativos de dados e elimine cópias de dados redundantes e sistemas ETL complexos.
Analytics na escala de petabytes
Execute consultas interativas em petabytes de dados do Iceberg sem movê-los para um data warehouse. Com vários mecanismos lendo com segurança as mesmas tabelas, analistas e engenheiros de dados escolhem o mecanismo certo para cada workload sem copiar dados.
Impacto real nos clientes
Como funciona
Serviços de dados e analytics da AWS para o Apache Iceberg
Próximas etapas
Orientação passo a passo para sua arquitetura do Iceberg
Aviso
Você encontrou o que procurava hoje?
Ajude a melhorar a qualidade do conteúdo em nossas páginas