Amazon S3 常见问题

矢量桶是专门为存储和查询向量而构建的。在矢量存储桶中，您不使用 S3 对象 API，而是使用专用的矢量 API 来编写矢量数据并根据语义和相似度进行查询。您可以使用 Amazon S3 中的现有访问控制机制（包括存储桶和 IAM 策略）控制对矢量数据的访问权限。向量存储桶的所有写入都非常一致，这意味着您可以立即访问最近添加的向量。随着时间的推移，当您写入、更新和删除向量时，S3 矢量存储桶会自动优化存储在其中的矢量数据，以实现最佳的性价比，即使数据集不断扩展和演变也是如此。

存储桶是存储在 Amazon S3 中的对象和表的容器，您可以在存储桶中存储任意数量的对象。通用存储桶是原始 S3 存储桶类型，单一通用存储桶可以包含跨所有存储类（S3 Express One Zone 除外）的对象。对于大多数应用场景和访问模式，建议使用该存储桶。S3 目录存储桶仅允许存储在 S3 Express One Zone 存储类中的对象，该存储类可在单个可用区内实现更快的数据处理。对于低延迟应用场景，建议使用该存储桶。 每个 S3 目录存储桶支持每秒多达 200 万个事务（TPS），这与存储桶内的目录数量无关。 S3 表存储桶专为在 S3 中存储表格数据而构建，例如每日购买交易、流式传感器数据或广告曝光量。使用表存储桶时，您的数据将作为 Iceberg 表存储在 S3 中，然后您可以使用行级交易、可查询表快照等分析功能与该数据进行交互，所有这些都由 S3 管理。此外，表存储桶会进行持续的表维护，即使数据湖不断扩展和演变，它也能随着时间的推移自动优化查询效率。 S3 矢量存储桶专为存储和查询向量而构建。在矢量存储桶中，您可以使用专用的向量 API 来编写矢量数据，并根据语义和相似度进行查询。您可以使用 Amazon S3 中的现有访问控制机制（包括存储桶和 IAM 策略）控制对矢量数据的访问权限。随着时间的推移，当您写入、更新和删除向量时，S3 矢量存储桶会自动优化存储在其中的矢量数据，以实现最佳的性价比，即使数据集不断扩展和演变也是如此。

您可以通过四个简单的步骤开始使用 S3 Vectors，无需在 Amazon S3 之外设置任何基础设施。首先，通过 CreateVectorBucket API 在特定 AWS 区域或在 S3 控制台中创建矢量存储桶。其次，要在矢量存储桶中组织矢量数据，您可以使用 createIndex API 或在 S3 控制台中创建矢量索引。创建矢量索引时，需要指定距离度量（余弦或欧几里得）和向量应具有的维度数（最多 4092）。要获得最准确的结果，请选择嵌入模型推荐的距离指标。第三，使用 Putvectors API 向向量索引中添加矢量数据。您可以选择将元数据作为键值对附加到每个向量以过滤查询。第四，使用 QueryVectors API 执行相似度查询，指定要搜索的向量和要返回的最相似结果的数量。

你可以使用 Putvectors API 向向量索引中添加向量。每个向量都由一个键组成，该键可以唯一地标识向量索引中的每个向量（例如，您可以通过编程生成 UUID）。为了最大限度地提高写入吞吐量，建议您大批量插入矢量，直至最大请求大小。此外，您可以将元数据（例如年份、作者、流派和地点）作为键值对附加到每个向量。当您包含元数据时，默认情况下，所有字段都可用作相似度查询中的过滤器，除非在创建矢量索引时指定为不可筛选的元数据。要为非结构化数据生成新的矢量嵌入，您可以使用 Amazon Bedrock 的 InvokeModel API，指定要使用的嵌入模型的模型 ID。

你可以使用 GetVectors API 通过向量键查找和返回向量和相关的元数据。

您可以使用 QueryVectors API 运行相似度查询，指定查询向量、要返回的相关结果的数量（前 k 个最近邻居）和索引 ARN。生成查询向量时，应使用与生成存储在矢量索引中的初始向量相同的嵌入模型。例如，如果您在 Amazon Bedrock 中使用 Amazon Titan 文本嵌入 v2 来生成文档的嵌入内容，则建议您使用相同的模型将问题转换为矢量。此外，你可以在查询中使用元数据过滤器来搜索与过滤器匹配的向量。当你运行相似度查询时，默认情况下会返回向量键。您可以选择在响应中包含距离和元数据。

S3 Vectors 提供高度耐用且可用的矢量存储。写入 S3 向量的数据存储在 S3 上，S3 专为实现 11 9 秒的数据耐久性而设计。S3 Vectors 旨在提供 99.99% 的可用性，可用性服务级别协议为 99.9%。

S3 Vectors 提供亚秒级的查询延迟时间。它使用 Amazon S3 的弹性吞吐量来处理数百万个向量的搜索，非常适合不频繁的查询工作负载。

要对向量嵌入执行相似度查询，有几个因素会影响平均召回率，包括嵌入模型、矢量数据集的大小（向量数量和维度）以及查询的分布。对于大多数数据集，S3 Vectors 的平均召回率超过 90%。平均召回率衡量查询结果的质量—— 90% 表示响应中包含存储在索引中与查询向量最接近的真实向量的 90%。但是，由于实际性能可能会因您的特定用例而异，因此我们建议您使用代表性数据和查询进行自己的测试，以验证 S3 矢量索引是否符合您的召回要求。

您可以使用 ListVectors API 在向量索引中查看向量列表，该应用程序一次最多返回 1,000 个向量，如果响应被截断，则会显示一个指示器。响应包括上次修改日期、矢量键、矢量数据和元数据。您还可以使用 ListVectors API 轻松地从指定的矢量索引导出矢量数据。ListVectors 操作非常一致。因此，在写入之后，您可以立即列出反映任何更改的向量。

可以。您可以通过两种方式将 S3 Vectors 与亚马逊 OpenSearch 服务一起使用。首先，S3客户可以使用S3或OpenSearch控制台将所有向量从S3矢量索引导出到OpenSearch Serverless，作为新的无服务器集合导出。如果您在 S3 Vectors 上进行本地构建，则能够有选择地将 OpenSearch 无服务器用于具有实时查询需求的工作负载，这将使您受益匪浅。其次，如果您是 OpenSearch 的托管客户，您现在可以选择 S3 Vectors 作为矢量数据的引擎，这些矢量数据的查询延迟时间为亚秒级。然后，OpenSearch 将自动使用 S3 向量作为向量的底层引擎，你可以使用 OpenSearch API 更新和搜索矢量数据。无需更改应用程序，即可获得 S3 Vectors 的成本优势。

Amazon S3 接入点是终端节点，可简化任何与 S3 配合使用的应用程序或 AWS 服务的数据访问的管理。S3 接入点可与 S3 存储桶和适用于 OpenZFS 文件系统的亚马逊 FSx 配合使用。通过创建具有为每个应用程序或用户量身定制的名称和权限的接入点，您可以控制和简化不同应用程序或用户访问数据的方式。

将 S3 接入点与 S3 存储桶配合使用，您无需再管理具有数百种不同权限规则的单一、复杂的存储桶策略，这些规则需要编写、读取、跟踪和审计。相反，您可以为每个存储桶创建数百个接入点，每个接入点都提供进入存储桶的自定义路径，并使用唯一的主机名和访问策略，对通过接入点提出的任何请求强制执行特定的权限和网络控制。

使用带有 FSx for OpenZFS 的 S3 接入点，您可以使用 S3 API 访问您的 FSx 数据，就好像数据在 S3 中一样。借助此功能，您可以访问适用于 OpenZFS 的 FSx 中的文件数据，以供与 S3 配合使用的各种人工智能、机器学习、分析服务和应用程序使用，同时您的文件数据将继续驻留在 FSx for OpenZFS 文件系统上。

使用 S3 接入点，您可以使用 S3 API 访问适用于 OpenZFS 的 Amazon FSx 中的文件数据，而无需将数据移至 S3。连接到 OpenZFS 文件系统的 FSx 的 S3 接入点的工作方式与连接到 S3 存储桶的 S3 接入点的工作方式类似，通过 S3 提供数据访问权限，访问权限受访问策略控制，而数据继续存储在 OpenZFS 文件系统的 FSx 或 S3 存储桶中。例如，将 S3 接入点连接到 FSx for OpenZFS 文件系统后，客户就可以将该接入点与生成式人工智能、机器学习和分析服务以及与 S3 配合使用的应用程序来访问其 FSx for OpenZFS 数据。

创建目录存储桶后，您可以使用导入选项，通过 S3 控制台将同一 AWS 区域内的数据导入到 S3 Express One Zone 存储类中。导入功能让您可以选择要从中导入数据的前缀或存储桶，而无需指定要单独复制的所有对象，从而简化了将数据复制到 S3 目录存储桶的过程。S3 批量操作会复制所选前缀或通用存储桶中的对象，您可以通过 S3 批量操作作业详细信息页面监控导入复制作业的进度。

在至少 3 个月内没有请求活动的 S3 目录存储桶将过渡到非活动状态。处于非活动状态的目录存储桶暂时无法进行读取和写入。非活动存储桶将保留所有存储、对象元数据和存储分区元数据。现有的存储费用将适用于非活动存储桶。非活动存储桶收到访问请求时，通常会在几分钟内过渡到活动状态。在此过渡期间，读取和写入将返回 503 SlowDown 错误代码。

如果您想使用 SQL 查询有关 S3 对象的信息，以便快速识别生成式 AI、分析和其他用例的特定数据集，则应使用 Amazon S3 元数据。S3 元数据使元数据近乎实时地保持最新状态，因此您可以使用任何与 Iceberg 兼容的客户端运行 SQL 查询，通过对象元数据查找对象。例如，您可以使用 SQL 查询返回与特定筛选条件相匹配的对象列表，例如过去 30 天内在任何存储桶中添加的对象。

S3 元数据旨在自动生成元数据，这些元数据提供有关上传到存储桶的对象的更多信息，并使该元数据可在只读表中查询。这些元数据表存储在 Amazon S3 表中，这些表建立在 Apache Iceberg 之上，为在 S3 中存储和查询表格数据提供了一种托管方式。S3 Metadata 在对象上传期间创建和维护系统级元数据（例如对象大小）、自定义元数据（例如标签和用户定义的元数据）以及事件元数据（例如发送请求的 IP 地址）。随着存储桶中数据的变化，S3 元数据会近乎实时地更新以反映最新的变化。然后，您可以使用各种与Iceberg兼容的AWS分析服务和开源工具来查询元数据表，包括亚马逊雅典娜、亚马逊QuickSight和Apache Spark。

您只需在 S3 控制台中单击几下即可开始使用 S3 元数据。只需选择您想要启用 S3 元数据的通用型 S3 存储桶，S3 就会分析您的存储桶中的数据，并生成一个完全托管的 Apache Iceberg 表，其中包含所有对象的元数据。几分钟之内，你就可以开始使用任何支持 Apache Iceberg 的查询引擎或工具来查询元数据。

S3 元数据将元数据存储在您账户的两个托管表中：日记表和实时库存表。 

S3 元数据日记表提供了存储桶内所做的更改的视图。在向您的通用 S3 存储桶中添加、更新和删除对象时，相应的更改将近乎实时地反映在日记表中。日记表对于了解应用程序的行为以及识别对数据集所做的任何更改非常有用。例如，您可以为日记表编写 SQL 查询，以查找与筛选条件相匹配的 S3 对象，例如过去 30 天添加的对象、活动请求者添加的对象或上周元数据发生变化的对象。

S3 元数据实时清单表包含存储桶中所有对象的完整列表。实时清单表每小时更新一次，包含 S3 知道的有关您的对象的所有信息。实时清单表有助于根据对象元数据中生成的特征发现或识别存储桶中的数据集。例如，您可以使用实时库存表来确定用于机器学习的训练数据集，用于存储成本优化练习，或帮助执行监管控制。

S3 清单报告可为 Amazon S3 的同步列表 API 提供预定的替代方案。您可以配置 S3 清单，以每天或每周为 S3 存储桶或前缀提供对象及其相应元数据的 CSV、ORC 或 Parquet 文件输出。您可以使用 S3 清单简化并加快业务工作流和大数据作业。您还可以使用 S3 清单验证对象的加密和复制状态是否符合业务、合规性和法规要求。 通过 Amazon S3 清单用户指南了解更多信息。

S3 表提供专门构建的 S3 存储，用于以 Apache Parquet、Avro 和 ORC 格式存储结构化数据。在表存储桶中，您可以直接在 S3 中将表创建为一级资源。这些表可以使用在基于身份或资源的策略中定义的表级权限进行保护，并且可由支持 Apache Iceberg 标准的应用程序或工具进行访问。当您在表存储桶中创建表时，S3 中的基础数据将存储为 Parquet、Avro 或 ORC 文件。然后，S3 使用 Apache Iceberg 标准来存储必要的元数据，使您的应用程序可以查询这些数据。S3 Tables 包括一个客户端库，查询引擎使用该库来导航和更新表存储桶中表的 Iceberg 元数据。此库与用于表操作的更新的 S3 API 结合使用，允许多个客户端安全地读取和写入表中的数据。随着时间的推移，S3 会通过重写或 “压缩” 您的对象来自动优化底层 Parquet、Avro 或 ORC 数据。压缩可以优化 S3 上的数据，以提高查询性能。

与将 Iceberg 表存储在通用 Amazon S3 存储桶中相比，预计查询性能最多可高 3 倍，每秒事务数（TPS）最多可高 10 倍。这是因为表存储桶会自动压缩表的底层 Parquet、Avro 或 ORC 数据以优化查询性能，并且专用存储在默认情况下最多支持 10 倍的 TPS。

表存储桶使您能够将资源策略应用于整个存储桶或单个表。可以使用 PutTablePolicy 和 PutTableBucketPolicy API 来应用表存储桶策略。表级策略允许您根据与之关联的逻辑表管理对表存储桶中表的权限，而无需了解单个 Parquet、Avro 或 ORC 文件的物理位置。此外，S3 屏蔽公共访问权限始终应用于您的表存储桶。

表存储桶支持包含 Parquet、Avro 或 ORC 数据的 Apache Iceberg 表格格式。