Questions fréquentes (FAQ) sur Amazon S3

Un compartiment vectoriel est spécialement conçu pour stocker et interroger des vecteurs. Dans un compartiment vectoriel, vous n’utilisez pas les API d’objets S3, mais plutôt des API vectorielles dédiées pour écrire des données vectorielles et les interroger en fonction de leur signification sémantique et de leur similitude. Vous pouvez contrôler l’accès à vos données vectorielles avec des mécanismes de contrôle d’accès existants dans Amazon S3, notamment des politiques de compartiment et IAM. Toutes les écritures dans un compartiment vectoriel sont parfaitement cohérentes, ce qui signifie que vous pouvez accéder immédiatement aux derniers vecteurs ajoutés. Au fur et à mesure que vous écrivez, mettez à jour et supprimez des vecteurs au fil du temps, les compartiments vectoriels S3 optimisent automatiquement les données vectorielles qui y sont stockées afin d’obtenir un rapport prix-performance optimal, même lorsque les jeux de données sont mis à l’échelle et évoluent.

Un compartiment est un conteneur pour les objets et les tables stockés dans Amazon S3, et vous pouvez stocker autant d’objets que vous le souhaitez dans un compartiment. Les compartiments à usage général sont le type de compartiment S3 d’origine, et un seul compartiment à usage général peut contenir des objets stockés dans toutes les classes de stockage, à l’exception de S3 Express One Zone. Ils sont recommandés pour la plupart des cas d'utilisation et des modèles d'accès. Les compartiments de répertoires S3 autorisent uniquement les objets stockés dans la classe de stockage S3 Express One Zone, ce qui permet un traitement plus rapide des données au sein d'une seule zone de disponibilité. Ils sont recommandés pour les cas d’utilisation à faible latence. Chaque compartiment de répertoires S3 peut prendre en charge jusqu’à 2 millions de transactions par seconde (TPS), quel que soit le nombre de répertoires qu’il contient. Les compartiments de tables S3 sont spécialement conçus pour stocker des données tabulaires dans S3, telles que les transactions d’achat quotidiennes, le streaming de données de capteurs ou les impressions publicitaires. Lorsque vous utilisez un compartiment de tables, vos données sont stockées sous forme de table Iceberg dans S3, puis vous pouvez interagir avec ces données à l’aide de fonctionnalités d’analytique telles que des transactions au niveau des lignes, des instantanés de table interrogeables, etc., le tout géré par S3. De plus, les compartiments de tableaux assurent une maintenance continue des tableaux afin d’optimiser automatiquement l’efficacité des requêtes au fil du temps, même à mesure que le lac de données se met à l’échelle. Les compartiments vectoriels S3 sont spécialement conçus pour stocker et interroger des vecteurs. Dans un compartiment vectoriel, vous utilisez des API vectorielles dédiées pour écrire des données vectorielles et les interroger en fonction de leur signification sémantique et de leur similitude. Vous pouvez contrôler l’accès à vos données vectorielles à l’aide des mécanismes de contrôle d’accès existants dans Amazon S3, notamment des politiques de compartiment et IAM. Au fur et à mesure que vous écrivez, mettez à jour et supprimez des vecteurs au fil du temps, les compartiments vectoriels S3 optimisent automatiquement les données vectorielles qui y sont stockées afin d’obtenir un rapport prix-performance optimal, même lorsque les jeux de données sont mis à l’échelle et évoluent.

S3 Tables fournit un stockage S3 spécialement créé pour stocker des données structurées au format Apache Parquet, Avro et ORC. Dans un compartiment de tables, vous pouvez créer des tables en tant que ressources de première classe directement dans S3. Ces tables peuvent être sécurisées par des autorisations au niveau de la table définie dans des politiques basées sur l’identité ou les ressources et sont accessibles par des applications ou des outils qui prennent en charge la norme Apache Iceberg. Lorsque vous créez une table dans votre compartiment de tables, les données sous-jacentes dans S3 sont stockées sous forme de données Parquet, Avro ou ORC. S3 utilise ensuite la norme Apache Iceberg pour stocker les métadonnées nécessaires pour que ces données puissent être interrogées par vos applications. S3 Tables inclut une bibliothèque client qui est utilisée par les moteurs de requête pour naviguer et mettre à jour les métadonnées Iceberg des tables de votre compartiment de tables. Cette bibliothèque, associée aux API S3 mises à jour pour les opérations sur les tables, permet à plusieurs clients de lire et d’écrire en toute sécurité des données dans vos tables. Au fil du temps, S3 optimise automatiquement les données Parquet, Avro ou ORC sous-jacentes en réécrivant ou en « compactant » vos objets. Le compactage optimise vos données sur S3 afin d’améliorer les performances des requêtes et de minimiser les coûts.

Vous pouvez commencer à utiliser S3 Tables en quelques étapes simples, sans avoir à installer d’infrastructure en dehors de S3. Tout d’abord, créez un compartiment de tables dans la console S3. Lors de la création de votre premier compartiment de tables via la console, l’intégration aux services d’analytique AWS se fait automatiquement, ce qui permet à S3 de renseigner automatiquement tous les compartiments de tables et les tableaux de votre compte et de votre région dans le Catalogue de données AWS Glue. Par la suite, S3 Tables est désormais accessible aux moteurs de requêtes AWS tels qu’Amazon Athena, EMR et Redshift. Vous pouvez ensuite cliquer pour créer un tableau à l’aide d’Amazon Athena depuis la console S3. Une fois dans Athena, vous pouvez rapidement commencer à remplir de nouvelles tables et à les interroger.

Vous pouvez également accéder à S3 Tables à l’aide du point de terminaison du catalogue REST Iceberg via le Catalogue de données AWS Glue, qui vous permet de découvrir l’intégralité de votre patrimoine de données, y compris toutes les ressources des tables. Vous pouvez également vous connecter directement à un point de terminaison de compartiment de tables individuel pour découvrir toutes les ressources S3 Tables de ce compartiment. Cela vous permet d’utiliser S3 Tables avec n’importe quelle application ou n’importe quel moteur de requête prenant en charge la spécification du catalogue REST Apache Iceberg.

Vous pouvez vous attendre à des performances de requête jusqu’à trois fois plus rapides et à des transactions par seconde (TPS) jusqu’à dix fois plus élevées par rapport au stockage de tables Iceberg dans des compartiments Amazon S3 à usage général. En effet, les compartiments de tables compactent automatiquement les données Parquet Avro ou ORC sous-jacentes de vos tables afin d’optimiser les performances des requêtes, et le stockage spécialement conçu prend en charge jusqu’à dix fois le TPS par défaut.

Les compartiments de tables vous permettent d’appliquer des politiques de ressources à l’ensemble du compartiment ou à des tables individuelles. Les politiques relatives aux compartiments de tables peuvent être appliquées à l’aide des API PutTablePolicy et PutTableBucketPolicy. Les politiques au niveau des tables vous permettent de gérer les autorisations relatives aux tables de vos compartiments de tables en fonction de la table logique à laquelle elles sont associées, sans avoir à connaître l’emplacement physique des fichiers Parquet, Avro ou ORC individuels. De plus, l’accès public par bloc S3 est toujours appliqué à vos compartiments de tables.

Les compartiments de tables prennent en charge le format de table Apache Iceberg avec les données Parquet, Avro ou ORC.

Vous pouvez commencer à utiliser S3 Vectors en quatre étapes simples, sans avoir à configurer d’infrastructure en dehors d’Amazon S3. Tout d’abord, créez un compartiment vectoriel dans une Région AWS spécifique via l’API CreateVectorBucket ou dans la console S3. Ensuite, pour organiser vos données vectorielles dans un compartiment vectoriel, vous devez créer un index vectoriel à l’aide de l’API CreateIndex ou de la console S3. Lorsque vous créez un index vectoriel, vous spécifiez la métrique de distance (cosinus ou euclidienne) et le nombre de dimensions qu’un vecteur doit avoir (jusqu’à 4 092). Pour des résultats plus précis, sélectionnez la métrique de distance recommandée par votre modèle de vectorisation. Troisièmement, ajoutez des données vectorielles à un index vectoriel à l’aide de l’API PutVectors. Vous pouvez éventuellement joindre des métadonnées sous forme de paires clé-valeur à chaque vecteur pour filtrer les requêtes. Quatrièmement, effectuez une requête de similarité à l’aide de l’API QueryVectors, en spécifiant le vecteur à rechercher et le nombre de résultats les plus similaires à renvoyer.

Vous pouvez créer un index vectoriel à l’aide de la console S3 ou de l’API CreateIndex. Lors de la création de l’index, vous spécifiez le compartiment vectoriel, l’index, la métrique de distance, les dimensions et, éventuellement, une liste de champs de métadonnées que vous souhaitez exclure du filtrage lors des requêtes de similarité. Par exemple, si vous souhaitez stocker des données associées à des vecteurs uniquement à titre de référence, vous pouvez les spécifier en tant que champs de métadonnées non filtrables. Lors de la création, chaque index se voit attribuer un Amazon Resource Name (ARN). Par la suite, lorsque vous faites une demande d’écriture ou de requête, vous la dirigez vers un index vectoriel au sein d’un compartiment vectoriel.

Vous pouvez ajouter des vecteurs à un index vectoriel à l’aide de l’API PutVectors. Chaque vecteur est constitué d’une clé qui identifie de manière unique chaque vecteur dans un index vectoriel (par exemple, vous pouvez générer un UUID par programmation). Pour optimiser le débit d’écriture, il est recommandé d’insérer des vecteurs par lots volumineux, jusqu’à la taille de requête maximale. En outre, vous pouvez joindre des métadonnées (par exemple, l’année, l’auteur, le genre et le lieu) sous forme de paires clé-valeur à chaque vecteur. Lorsque vous incluez des métadonnées, par défaut, tous les champs peuvent être utilisés comme filtres dans une requête de similarité, sauf s’ils sont spécifiés comme métadonnées non filtrables au moment de la création de l’index vectoriel. Pour générer de nouvelles vectorisations vectorielles de vos données non structurées, vous pouvez utiliser l’API InvokeModel d’Amazon Bedrock, en spécifiant l’ID du modèle de vectorisation que vous souhaitez utiliser.

Vous pouvez utiliser l’API GetVectors pour rechercher et renvoyer des vecteurs et les métadonnées associées à l’aide de la clé vectorielle.

Vous pouvez exécuter une requête de similarité à l’aide de l’API QueryVectors, en spécifiant le vecteur de requête, le nombre de résultats pertinents à renvoyer (les k premiers voisins les plus proches) et l’ARN de l’index. Lors de la génération du vecteur de requête, vous devez utiliser le même modèle de vectorisation que celui utilisé pour générer les vecteurs initiaux stockés dans l’index vectoriel. Par exemple, si vous utilisez le plongement lexical Amazon Titan v2 dans Amazon Bedrock pour générer des vectorisations de vos documents, il est recommandé d’utiliser le même modèle pour convertir une question en vecteur. En outre, vous pouvez utiliser des filtres de métadonnées dans une requête pour rechercher des vecteurs correspondant au filtre. Lorsque vous exécutez la requête de similarité, les clés vectorielles sont renvoyées par défaut. Vous pouvez éventuellement inclure la distance et les métadonnées dans la réponse.

S3 Vectors offre un stockage vectoriel hautement durable et disponible. Les données écrites dans S3 Vectors sont stockées sur S3, qui est conçu pour une durabilité des données de 11 à 9 s. S3 Vectors est conçu pour fournir une disponibilité de 99,99 % avec un SLA de disponibilité de 99,9 %.

S3 Vectors offre des temps de latence des requêtes inférieurs à la seconde. Il utilise le débit élastique d’Amazon S3 pour gérer les recherches sur des millions de vecteurs et est idéal pour les charges de travail de requêtes peu fréquentes.

Lorsque vous effectuez des requêtes de similarité pour vos vectorisations vectorielles, plusieurs facteurs peuvent affecter le rappel moyen, notamment le modèle de vectorisation, la taille du jeu de données vectoriel (nombre de vecteurs et dimensions) et la distribution des requêtes. S3 Vectors offre un rappel moyen de plus de 90 % pour la plupart des jeux de données. Le rappel moyen mesure la qualité des résultats de la requête : 90 % signifie que la réponse contient 90 % des vecteurs les plus proches du vecteur de requête, qui sont stockés dans l’index. Cependant, étant donné que les performances réelles peuvent varier en fonction de votre cas d’utilisation spécifique, nous vous recommandons d’effectuer vos propres tests avec des données représentatives et des requêtes afin de valider que les index S3 Vectors répondent à vos exigences de rappel.

Vous pouvez consulter une liste de vecteurs dans un index vectoriel à l’aide de l’API ListVectors, qui renvoie jusqu’à 1 000 vecteurs à la fois avec un indicateur si la réponse est tronquée. La réponse inclut la date de dernière modification, la clé vectorielle, les données vectorielles et les métadonnées. Vous pouvez également utiliser l’API ListVectors pour exporter facilement des données vectorielles à partir d’un index vectoriel spécifié. L’opération ListVectors est très cohérente. Ainsi, après une écriture, vous pouvez immédiatement répertorier les vecteurs avec toutes les modifications prises en compte.

Avec S3 Vectors, vous payez pour le stockage et toutes les demandes d’écriture et de lecture applicables (par exemple, l’insertion de vecteurs et l’exécution d’opérations de requête sur des vecteurs dans un index vectoriel). Pour voir le détail des prix, consultez la page de tarification S3.

Oui. Lors de la création d’une base de connaissances Bedrock via la console ou l’API Bedrock, vous pouvez configurer un index vectoriel S3 existant comme boutique vectorielle afin de réduire les coûts de stockage vectoriel pour les cas d’utilisation RAG. Si vous préférez laisser Bedrock créer et gérer l’index vectoriel pour vous, utilisez le flux de travail Création rapide dans la console Bedrock. En outre, vous pouvez configurer un nouvel index vectoriel S3 comme boutique vectorielle pour les flux de travail RAG dans Amazon SageMaker Unified Studio.

Oui. Vous pouvez utiliser S3 Vectors de deux manières avec Amazon OpenSearch Service. Tout d’abord, les clients S3 peuvent exporter tous les vecteurs d’un index vectoriel S3 vers OpenSearch sans serveur en tant que nouvelle collection sans serveur à l’aide de la console S3 ou OpenSearch. Si vous créez nativement sur des S3 Vectors, vous avez la possibilité d’utiliser OpenSearch sans serveur de manière sélective pour les charges de travail nécessitant des requêtes en temps réel. Deuxièmement, si vous êtes un client OpenSearch géré, vous pouvez désormais choisir S3 Vectors comme moteur pour les données vectorielles qui peuvent être interrogées avec une latence inférieure à la seconde. OpenSearch utilisera alors automatiquement S3 Vectors comme moteur sous-jacent pour les vecteurs et vous pourrez mettre à jour et rechercher vos données vectorielles à l’aide des API OpenSearch. Vous bénéficiez des avantages de S3 Vectors en termes de coûts, sans apporter la moindre modification à vos applications.

Les points d’accès Amazon S3 simplifient la gestion de l’accès aux données pour toute application ou tout service AWS fonctionnant avec S3. Les points d’accès S3 fonctionnent avec les compartiments S3 et les systèmes de fichiers Amazon FSx pour OpenZFS. Vous pouvez contrôler et simplifier la manière dont les différentes applications ou les différents utilisateurs peuvent accéder aux données en créant des points d’accès dotés de noms et d’autorisations adaptés à chaque application ou utilisateur.

Grâce aux point d’accès S3 avec compartiments S3, vous ne devez plus gérer une stratégie de compartiment unique et complexe avec des centaines de règles d’autorisation différentes qu’il faut écrire, lire, suivre et auditer. Au lieu de cela, vous pouvez créer des centaines de points d’accès par compartiment, chacun proposant un chemin personnalisé vers un compartiment, avec un nom d’hôte unique et une stratégie d’accès qui met en œuvre les autorisations spécifiques et les contrôles de réseau pour toute demande effectuée par le point d’accès.

En utilisant les points d’accès S3 avec FSx pour OpenZFS, vous pouvez accéder à vos données FSx à l’aide de l’API S3 comme si les données se trouvaient dans S3. Grâce à cette fonctionnalité, les données de vos fichiers dans FSx pour OpenZFS sont accessibles et peuvent être utilisées avec le large éventail de services et d’applications d’intelligence artificielle, de machine learning et d’analytique qui fonctionnent avec S3, tandis que vos données de fichiers continuent de résider sur le système de fichiers FSx pour OpenZFS.

Avec les points d’accès S3, vous pouvez accéder aux données des fichiers dans Amazon FSx pour OpenZFS à l’aide des API S3 et sans déplacer les données vers S3. Les points d’accès S3 attachés à FSx pour les systèmes de fichiers OpenZFS fonctionnent de la même manière que les points d’accès S3 attachés à des compartiments S3, en fournissant un accès aux données via S3 avec un accès contrôlé par des politiques d’accès, tandis que les données continuent d’être stockées dans FSx pour les systèmes de fichiers OpenZFS ou dans des compartiments S3. Par exemple, une fois qu’un point d’accès S3 est connecté à un système de fichiers FSx pour OpenZFS, les clients peuvent utiliser le point d’accès avec des services et des applications d’IA générative, de machine learning et d’analytique qui fonctionnent avec S3 pour accéder à leurs données FSx pour OpenZFS.

Vous pouvez importer des données provenant de la même Région AWS dans la classe de stockage S3 Express One Zone via la console S3 en utilisant l’option Importer après avoir créé un compartiment de répertoires. L’importation simplifie la copie des données dans des compartiments de répertoires S3 en vous permettant de choisir un préfixe ou un compartiment à partir duquel importer les données sans avoir à spécifier tous les objets à copier individuellement. S3 Batch Operations copie les objets dans le préfixe ou le compartiment à usage général sélectionné et vous pouvez suivre la progression de la tâche d’importation et de copie via la page de détails de la tâche S3 Batch Operations.

Les compartiments de répertoires S3 n’ayant enregistré aucune activité de demande pendant une période de trois mois ou plus deviennent inactifs. Lorsqu’il est inactif, un compartiment de répertoires est temporairement inaccessible pour les opérations de lecture et d’écriture. Les compartiments inactifs conservent l’intégralité du stockage, ainsi que les métadonnées d’objets et de compartiments. Les frais de stockage existants s’appliquent aux compartiments inactifs. Suite à une demande d’accès à un compartiment inactif, celui-ci passe à l’état actif généralement en quelques minutes. Pendant cette période de transition, les opérations de lecture et d’écriture renverront un code d’erreur 503 SlowDown.

Vous devez utiliser Amazon S3 Metadata si vous souhaitez utiliser le langage SQL pour interroger les informations relatives à vos objets S3 afin d’identifier rapidement des jeux de données spécifiques pour votre IA générative, vos analytiques et d’autres cas d’utilisation. S3 Metadata met les métadonnées à jour quasiment en temps réel. Vous pouvez donc utiliser n’importe quel client compatible Iceberg pour exécuter des requêtes SQL afin de rechercher des objets à l’aide des métadonnées des objets. Par exemple, vous pouvez utiliser une requête SQL pour renvoyer une liste d’objets correspondant à certains filtres, tels que les objets ajoutés au cours des 30 derniers jours dans n’importe quel compartiment.

Les métadonnées S3 sont conçues pour générer automatiquement des métadonnées qui fournissent des informations supplémentaires sur les objets qui sont chargés dans un compartiment et pour rendre ces métadonnées consultables dans une table en lecture seule. Ces tables de métadonnées sont stockées dans des tableaux Amazon S3, qui reposent sur Apache Iceberg et fournissent un moyen géré de stocker et d’interroger des données tabulaires dans S3. S3 Metadata crée et maintient des métadonnées au niveau du système telles que la taille de l’objet, des métadonnées personnalisées telles que des balises et des métadonnées définies par l’utilisateur lors du téléchargement de l’objet, ainsi que des métadonnées d’événements telles que l’adresse IP qui a envoyé la demande. À mesure que les données de votre compartiment changent, les métadonnées S3 sont mises à jour quasiment en temps réel pour refléter les dernières modifications. Vous pouvez ensuite interroger vos tables de métadonnées à l’aide de divers services d’analytique AWS et d’outils open source qui sont compatibles avec Iceberg, notamment Amazon Athena, Amazon QuickSight et Apache Spark.

Vous pouvez commencer à utiliser S3 Metadata en quelques clics dans la Console S3. Il vous suffit de sélectionner le compartiment S3 à usage général sur lequel vous souhaitez activer les métadonnées S3. S3 analysera les données de votre compartiment et créera une table Apache Iceberg entièrement gérée contenant les métadonnées de tous vos objets. En quelques minutes, vous pouvez commencer à interroger vos métadonnées à l’aide de n’importe quel moteur de requête ou outil prenant en charge Apache Iceberg.

Vos tables S3 Metadata sont stockées dans un compartiment de tables géré par AWS sur votre compte AWS, appelé aws-s3. Vos tables seront en lecture seule et seul S3 sera autorisé à écrire, mettre à jour ou supprimer des métadonnées. 

S3 Metadata stocke les métadonnées dans deux tables gérées de votre compte : les tables de journal et les tables d’inventaire dynamiques. 

La table de journal S3 Metadata fournit une vue des modifications apportées dans votre compartiment. Au fur et à mesure que des objets sont ajoutés, mis à jour et supprimés depuis vos compartiments S3 à usage général, les modifications correspondantes sont prises en compte dans les tables de journaux quasiment en temps réel. Les tableaux de journaux sont utiles pour comprendre le comportement de vos applications et pour identifier toute modification apportée à vos jeux de données. Par exemple, vous pouvez écrire des requêtes SQL pour les tables de journal afin de rechercher des objets S3 correspondant à un filtre, tels que des objets ajoutés au cours des 30 derniers jours, des objets ajoutés par des demandeurs actifs ou des objets dont les métadonnées ont été modifiées au cours de la dernière semaine.

Le tableau d’inventaire dynamique des métadonnées S3 contient une liste complète de tous les objets de votre compartiment. Les tableaux d’inventaire en temps réel sont mis à jour toutes les heures et contiennent toutes les informations que S3 connaît sur vos objets. Les tableaux d’inventaire dynamiques sont utiles pour découvrir ou identifier les jeux de données de votre compartiment, en fonction des caractéristiques générées dans les métadonnées des objets. Par exemple, vous pouvez utiliser des tableaux d’inventaire dynamiques pour identifier des jeux de données de formation pour le machine learning, pour les utiliser dans le cadre d’exercices d’optimisation des coûts de stockage ou pour aider à appliquer les contrôles de gouvernance.

Lorsque vous ajoutez de nouveaux objets à votre compartiment, vous verrez apparaître les entrées dans le tableau de journal dans les minutes qui suivent, et vous verrez apparaître les entrées dans le tableau d’inventaire en direct lors de la prochaine actualisation horaire. Lorsque vous activez les métadonnées S3 sur un compartiment existant, S3 lance automatiquement une opération de remplissage afin de générer des métadonnées pour tous vos objets existants. Ce remplissage se termine généralement en quelques minutes, mais peut prendre plusieurs heures si vos jeux de données existants contiennent des millions ou des milliards d’objets S3.

La fonction S3 Inventory constitue une alternative planifiée à l’API List synchrone d’Amazon S3. Vous pouvez configurer la fonction d’inventaire S3 pour fournir, chaque jour ou chaque semaine, un fichier de sortie au format CSV, ORC ou Parquet à partir de vos objets, et des métadonnées qui sont associées à ceux-ci, pour un compartiment S3 ou un préfixe. Vous pouvez simplifier et accélérer les flux de travail d’entreprise et les tâches de Big Data à l’aide de la fonction S3 Inventory. Vous pouvez utiliser la fonction S3 Inventory pour vérifier le chiffrement et l’état de la réplication de vos objets, afin de répondre aux besoins commerciaux, de conformité et de réglementation. Pour en savoir plus, consultez le guide de l’utilisateur d’Amazon S3 Inventory.

S3 Tables fournit un stockage S3 spécialement créé pour stocker des données structurées au format Apache Parquet, Avro et ORC. Dans un compartiment de tables, vous pouvez créer des tables en tant que ressources de première classe directement dans S3. Ces tables peuvent être sécurisées par des autorisations au niveau de la table définie dans des politiques basées sur l’identité ou les ressources et sont accessibles par des applications ou des outils qui prennent en charge la norme Apache Iceberg. Lorsque vous créez une table dans votre compartiment de tables, les données sous-jacentes dans S3 sont stockées sous forme de données Parquet, Avro ou ORC. S3 utilise ensuite la norme Apache Iceberg pour stocker les métadonnées nécessaires pour que ces données puissent être interrogées par vos applications. S3 Tables inclut une bibliothèque client qui est utilisée par les moteurs de requête pour naviguer et mettre à jour les métadonnées Iceberg des tables de votre compartiment de tables. Cette bibliothèque, associée aux API S3 mises à jour pour les opérations sur les tables, permet à plusieurs clients de lire et d’écrire en toute sécurité des données dans vos tables. Au fil du temps, S3 optimise automatiquement les données Parquet, Avro ou ORC sous-jacentes en réécrivant ou en « compactant » vos objets. Le compactage optimise vos données sur S3 afin d’améliorer les performances des requêtes et de minimiser les coûts.

Vous pouvez commencer à utiliser S3 Tables en quelques étapes simples, sans avoir à installer d’infrastructure en dehors de S3. Tout d’abord, créez un compartiment de tables dans la console S3. Lors de la création de votre premier compartiment de tables via la console, l’intégration aux services d’analytique AWS se fait automatiquement, ce qui permet à S3 de renseigner automatiquement tous les compartiments de tables et les tableaux de votre compte et de votre région dans le Catalogue de données AWS Glue. Par la suite, S3 Tables est désormais accessible aux moteurs de requêtes AWS tels qu’Amazon Athena, EMR et Redshift. Vous pouvez ensuite cliquer pour créer un tableau à l’aide d’Amazon Athena depuis la console S3. Une fois dans Athena, vous pouvez rapidement commencer à remplir de nouvelles tables et à les interroger.

Vous pouvez également accéder à S3 Tables à l’aide du point de terminaison du catalogue REST Iceberg via le Catalogue de données AWS Glue, qui vous permet de découvrir l’intégralité de votre patrimoine de données, y compris toutes les ressources des tables. Vous pouvez également vous connecter directement à un point de terminaison de compartiment de tables individuel pour découvrir toutes les ressources S3 Tables de ce compartiment. Cela vous permet d’utiliser S3 Tables avec n’importe quelle application ou n’importe quel moteur de requête prenant en charge la spécification du catalogue REST Apache Iceberg.

Vous pouvez vous attendre à des performances de requête jusqu’à trois fois plus rapides et à des transactions par seconde (TPS) jusqu’à dix fois plus élevées par rapport au stockage de tables Iceberg dans des compartiments Amazon S3 à usage général. En effet, les compartiments de tables compactent automatiquement les données Parquet Avro ou ORC sous-jacentes de vos tables afin d’optimiser les performances des requêtes, et le stockage spécialement conçu prend en charge jusqu’à dix fois le TPS par défaut.

Les compartiments de tables vous permettent d’appliquer des politiques de ressources à l’ensemble du compartiment ou à des tables individuelles. Les politiques relatives aux compartiments de tables peuvent être appliquées à l’aide des API PutTablePolicy et PutTableBucketPolicy. Les politiques au niveau des tables vous permettent de gérer les autorisations relatives aux tables de vos compartiments de tables en fonction de la table logique à laquelle elles sont associées, sans avoir à connaître l’emplacement physique des fichiers Parquet, Avro ou ORC individuels. De plus, l’accès public par bloc S3 est toujours appliqué à vos compartiments de tables.

Les compartiments de tables prennent en charge le format de table Apache Iceberg avec les données Parquet, Avro ou ORC.