亚马逊AWS官方博客
适用于 OpenZFS 的 Amazon FSx 现在支持访问 Amazon S3,无需移动任何数据
从现在开始,您可以将 Amazon S3 接入点附加到适用于 OpenZFS 的 Amazon FSx 文件系统,进而访问您的文件数据,就好像访问 Amazon Simple Storage Service(Amazon S3)中的数据一样。借助这项新功能,您可以访问适用于 OpenZFS 的 FSx 中的数据,可用于各种适用于 S3 的人工智能、机器学习(ML)和分析的 Amazon Web Services(AWS)服务和应用程序。您的文件数据继续驻留在适用于 OpenZFS 的 FSx 文件系统中。
组织在本地存储数百 EB 的文件数据,并希望将这些数据转移到 AWS,进而提高灵活性、可靠性、安全性、可扩展性并降低成本。文件数据存入 AWS 后,组织通常希望利用这些数据做更多事情。例如,他们希望使用企业数据来增强生成式人工智能应用程序,并使用广泛的 AWS 生成式人工智能和机器学习服务来构建和训练机器学习模型。他们还希望能够灵活地将文件数据用于新的 AWS 应用程序。但是,许多 AWS 数据分析服务和应用程序都是为了将存储在 Amazon S3 中的数据作为数据湖使用而构建的。迁移后,他们可以使用与 Amazon S3 配合使用的工具作为数据来源。以前,这需要数据管道在适用于 OpenZFS 的 Amazon FSx 文件系统和 Amazon S3 存储桶之间复制数据。
附加到适用于 OpenZFS 的 FSx 文件系统的 Amazon S3 接入点通过文件协议和 Amazon S3 API 操作保持统一访问,从而消除了数据移动和复制需求。您可以使用 S3 对象操作读取和写入文件数据,这些操作包括 GetObject、PutObject 和 ListObjectsV2。您可以将数百个接入点附加到文件系统,每个 S3 接入点都配置了应用程序特定的权限。这些接入点支持与附加到 S3 存储桶的 S3 接入点相同的精细权限控制,包括 AWS Identity and Access Management(IAM)接入点策略、屏蔽公共访问权限以及限制访问虚拟私有云(VPC)等网络源控制。由于您的数据继续驻留在适用于 OpenZFS 的 FSx 文件系统中,因此您可以继续使用网络文件系统(NFS)访问数据并受益于现有的数据管理功能。
您可以使用适用于 OpenZFS 的 Amazon FSx 文件系统中的文件数据,通过适用于检索增强生成(RAG)工作流程的 Amazon Bedrock 为生成式人工智能应用程序提供支持,使用 Amazon SageMaker 训练机器学习模型,使用 S3 API 通过 Amazon Athena 和 AWS Glue 运行分析或商业智能(BI),就像数据在 S3 中一样。您还可以使用 Apache Spark 和 Apache Hive 等开源工具生成洞察,无需移动或重构数据。
开始使用
您可以使用 Amazon FSx 控制台、AWS 命令行界面(AWS CLI)或 AWS SDK 创建 S3 接入点,并将其附加到适用于 OpenZFS 的 Amazon FSx 文件系统。
首先,您可以按照适用于 OpenZFS 的 Amazon FSx 文件系统文档页面中的步骤创建文件系统,然后使用 Amazon FSx 控制台,前往操作并选择创建 S3 接入点。 保留标准配置,然后创建。
要监控创建进度,您可以前往 Amazon FSx 控制台。
可用后,选择新 S3 接入点的名称并查看接入点摘要。此摘要包括一个自动生成的别名,该别名适用于您通常使用 S3 存储桶名称的任何地方。
使用存储桶样式别名,您可以直接通过 S3 API 操作访问 FSx 数据。
- 使用 ListObjectsV2 API 列出对象
- 使用 GetObject API 获取文件
- 使用 PutObject API 写入数据
数据仍然可以通过 NFS 访问。
除了通过 S3 API 访问 FSx 数据外,您还可以使用适用于 S3 中数据的广泛的人工智能、机器学习和分析服务来处理数据。例如,我使用包含航空公司客户服务信息的 PDF 作为数据来源构建了 Amazon Bedrock 知识库,所述信息来自旅行支持应用程序存储库,即由 WhatsApp 提供支持的 RAG Travel Support Agent:使用 PostgreSQL 知识检索提升客户体验。
为了创建 Amazon Bedrock 知识库,我按照连接 Amazon S3 获取知识库用户指南中的连接步骤进行操作。我选择了 Amazon S3 作为数据来源,输入我的 S3 接入点别名作为 S3 源,然后配置并创建了知识库。
知识库同步后,我可以将所有文档和文档源视为 S3。
最后,我对知识库运行了查询,并验证知识库成功使用了我的适用于 OpenZFS 的 Amazon FSx 文件系统中的文件数据来提供上下文答案,从而证明了无需移动数据即可实现无缝集成。
注意事项
集成和访问控制 – 适用于 OpenZFS 的 Amazon FSx 文件系统的 Amazon S3 接入点通过 S3 端点支持标准 S3 API 操作(例如 GetObject、ListObjectsV2、PutObject),并通过 AWS Identity and Access Management(IAM)权限和文件系统用户身份验证进行精细的访问控制。您的 S3 接入点包含一个自动生成的接入点别名,用于使用 S3 存储桶名称进行数据访问,默认情况下,Amazon FSx 资源的公共访问权限被屏蔽。
数据管理 – 您的数据保留在适用于 OpenZFS 的 Amazon FSx 文件系统中,同时可以像在 Amazon S3 中一样进行访问,无需移动或复制数据,文件数据仍可通过 NFS 文件协议访问。
性能 – 适用于 OpenZFS 的 Amazon FSx 文件系统的 Amazon S3 接入点提供数十毫秒范围内的首字节延迟,与 S3 存储桶访问一致。性能随您的 Amazon FSx 文件系统的预置吞吐量而扩展,最大吞吐量由您的基础 FSx 文件系统配置决定。
定价 – 除了标准的 Amazon FSx 费用外,Amazon S3 还会向您收取通过 S3 接入点的请求和数据传输费用。要了解更多信息,请访问适用于 OpenZFS 的 Amazon FSx 定价页面。
您可以立即开始使用 Amazon FSx 控制台、AWS CLI 或 AWS SDK,将 Amazon S3 接入点附加到适用于 OpenZFS 的 Amazon FSx 文件系统。这项功能已在以下 AWS 区域推出:美国东部(弗吉尼亚州北部、俄亥俄州)、美国西部(俄勒冈州)、欧洲地区(法兰克福、爱尔兰、斯德哥尔摩)和亚太地区(香港、新加坡、悉尼、东京)。
— Eli
*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用,亚马逊云科技中国仅为帮助您了解行业前沿技术和发展海外业务选择推介该服务。