開始使用 Amazon EKS

Amazon EKS 支援兩種不同的 代理式 AI 方法。首先，您可以將自主代理程式部署及擴展為容器化應用程式，從而能夠控制您的代理程式基礎結構。其次，您可以簡化 Kubernetes 操作和應用程式開發，以便代理程式和 AI 助力能夠使用 Agent2Agent 協定 (A2A) 和模型上下文協定 (MCP) 透過自然語言互動來簡化操作並對問題進行疑難排解。此路徑會引導您完成兩種方法：在 Amazon EKS 上部署代理程式，以及使用代理式 AI 來增強 Amazon EKS 開發人員和操作人員體驗。

使用開放原始碼 Strands Agents SDK 或您偏好的代理程式架構，在 Amazon EKS 上部署和擴展自主 AI 代理程式。這種方法可讓您完全控制您的代理程式基礎結構，從而能夠使用任何模型並自訂實作。EKS 提供生產級功能，可用於執行具有高可用性和可擴展性的容器化 AI 代理程式。

探索在 EKS 上建置和部署 AI 代理程式的基礎知識。了解 Strands Agents SDK 及其如何簡化代理程式開發，或將這些概念套用到您偏好的架構中。研究天氣預測的實際範例，以了解簡單的代理程式如何與外部 API 整合、處理串流回應，以及處理自然語言查詢。此範例示範了在 EKS 上部署代理程式時需要的系統提示、工具整合和 API 工作流程等關鍵概念。

請遵循我們的逐步指南，將 Strands Agents SDK 代理程式部署到 Amazon EKS。從了解如何容器化代理程式、設定 FastAPI 端點、實作串流回應以及使用 Docker 封裝應用程式開始。使用我們的範例專案，了解 EKS 自動模式組態、Helm 部署和基本測試等重要概念。雖然本指南使用的是 Strands SDK，但其原則適用於在 EKS 上部署任何容器化代理程式。

了解如何在生產中可靠地擴展和操作代理程式部署。實作自動擴展以處理不同的工作負載、透過備份和容錯移轉組態實現高可用性，並使用 CloudWatch Container Insights 設定全面的監控。遵循我們的 EKS 最佳實務指南 (適用於執行 AI/ML 工作負載)，以確保您的代理程式基礎結構安全且可觀測。參加我們的自主進度 EKS 上的代理式 AI 工作坊，獲取大規模部署 AI 代理程式的逐步指南。

透過 Amazon EKS MCP 伺服器提供 AI 編碼助理即時工具和資源，轉換您的 Kubernetes 操作。這樣一來，AI 代理程式能夠透過自然語言互動，以內容關聯性指引和自動化方式直接與您的 EKS 叢集互動。從叢集建立到疑難排解，這些 AI 代理程式可協助簡化您的 Kubernetes 操作，同時維護 AWS 最佳實務。

了解不同的 AWS MCP 伺服器如何促進 AI 模型與 AWS 服務和資源之間的互動。探索 EKS MCP 伺服器指南，了解 AI 代理程式如何協助自動化常見操作任務，範圍涵蓋從叢集管理到疑難排解。設定您的開發環境，以透過 EKS MCP 伺服器整合設定 Amazon Q Developer CLI 或 Cline 等 AI 助理。

請遵循我們的逐步指南，以使用 Amazon EKS MCP 伺服器簡化 Kubernetes 操作。了解使用自然語言指令來在 EKS 上容器化和部署應用程式。請參閱此示範，進一步了解有關 AI 代理程式如何使用 EKS MCP 伺服器的工具，協助產生 Kubernetes 資訊清單、管理叢集資源以及自動化部署工作流程。

遵循我們使用 Amazon EKS MCP 伺服器的 AI 輔助疑難排解逐步解說，了解 AI 代理程式如何協助監控應用程式運作狀態並解決常見問題。透過偵錯 Pod 故障和基礎結構問題的實際範例，了解如何使用自然語言查詢來檢查 CloudWatch 指標、分析日誌和診斷問題。本實作指南示範了 AI 協助可如何助您利用 Amazon CloudWatch 和其他 AWS 服務來維護 EKS 上應用程式的健康運作狀態。

生成式 AI 環境正在迅速發展，各組織正在建置、部署和擴展各種 AI/ML 工作負載，以用於分散式模型訓練、微調和大規模推論部署等使用案例。包括 Anthropic 和 Adobe 在內的客戶選擇 Amazon EKS，以便既能精細控制運算資源，同時又能維護營運效率。請參閱本指南，大致了解客戶為什麼選擇為 AI/ML 選擇 EKS，以便用於模型訓練和部署、檢索增強生成 (RAG) 和推論等常見使用案例。

Amazon EKS 支援生產級推論部署，並且還支援 GPU 最佳化、多模型服務和自動擴展。組織可利用其現有 EKS 專業知識和操作實務，與其他應用程式一起快速部署和管理推論工作負載。透過與 AWS 上的開放原始碼工具和豐富的加速器整合，Vannevar Labs 和 Omi 等公司既實現了大幅成本降低和效能提升，同時又維持了其基礎結構的營運一致性。

此解決方案指南將介紹在 EKS 上部署推論工作負載的基礎結構和架構基礎知識，其中涵蓋 GPU 支援、模型服務模式和資源最佳化等關鍵主題。探索開放原始碼 AI on EKS 專案，該專案提供可即時部署的藍圖，例如設定具有基礎結構即程式碼範本的可擴展 LLM 推論服務，以進行生產部署。

請先參閱我們的即時推論的最佳實務叢集設定指南開始，建立針對生產推論工作負載最佳化的 EKS 叢集。使用我們的生產就緒型 AI on EKS 推論圖表部署模型，且其可提供 Helm Chart 和基礎結構即程式碼範本，適用於 vLLM 和 NVIDIA Triton 等熱門架構。對於傳統的 ML 工作負載，請參閱《AWS Deep Learning Containers 開發人員指南》，了解 CPU 和 GPU 型推論部署模式。

依照我們的實作工作坊，使用您選擇的加速器在 EKS 上部署推論工作負載：NVIDIA 型工作坊 (適用於 GPU 型推論)，以及使用 Inferentia 和 Trainium 加速器的 AWS Neuron 型工作坊。這兩個工作坊都涵蓋了基本任務，例如裝置外掛程式設定、資源管理和監控。請參閱全面的 EKS 最佳實務指南 (適用於 AI/ML 工作負載)，以確保您的推論部署遵循經驗證的運算、聯網、儲存和可觀測性模式。當您在 EKS 上操作和發展推論架構時，這些指南可作為持續參考。

不熟悉 Amazon EKS？ 按照此路徑中的步驟操作，只需幾分鐘即可設定您的第一個 Kubernetes 叢集。

藉助 Amazon EKS，您透過登入 AWS 管理主控台，即可在幾分鐘內設定並啟動容器。

透過 Containers from the Couch 影片系列和容器部落格頻道，了解 Amazon EKS 如何運作。

了解如何藉助 Linux 和 Windows 上的範例部署，將工作負載和附加元件部署到 Amazon EKS。