Xây dựng quy trình truyền liên tục toàn diện bằng Kế hoạch chi tiết của Dịch vụ được quản lý của Amazon dành cho Apache Flink chỉ với một cú nhấp chuột. Tìm hiểu thêm.
Chuyển đổi và phân tích dữ liệu phát trực tuyến trong thời gian thực bằng Apache Flink
Với Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn có thể chuyển đổi và phân tích dữ liệu truyền liên tục theo thời gian thực bằng Apache Flink, một khung và công cụ nguồn mở để xử lý các luồng dữ liệu. Dịch vụ được quản lý của Amazon dành cho Apache Flink đơn giản hóa việc xây dựng và quản lý khối lượng công việc Apache Flink cũng như giúp bạn tích hợp ứng dụng với các dịch vụ AWS khác một cách dễ dàng hơn.
Với Dịch vụ được quản lý của Amazon dành cho Apache Flink, bạn chỉ phải trả tiền cho những gì bạn sử dụng. Bạn không cần cung cấp tài nguyên và không tốn chi phí trả trước. Bạn bị tính phí theo mức phí theo giờ dựa trên số lượng Đơn vị xử lý Kinesis (KPU) được sử dụng để chạy các ứng dụng của bạn. Một KPU duy nhất bao gồm 1 vCPU điện toán và 4 GB bộ nhớ.
Đối với các ứng dụng Apache Flink, bạn bị tính phí thêm duy nhất một KPU mỗi ứng dụng; KPU này được sử dụng cho mục đích điều phối. Các ứng dụng cũng bị tính phí đối với dung lượng lưu trữ đang chạy và các bản sao lưu bền vững. Dung lượng lưu trữ ứng dụng đang chạy được sử dụng cho các tính năng xử lý theo trạng thái trong Dịch vụ được quản lý của Amazon dành cho Apache Flink và bị tính phí mỗi GB/tháng. Sao lưu bền vững là tính năng tùy chọn và cung cấp khả năng phục hồi về thời điểm trước đó cho ứng dụng; tính năng này bị tính phí mỗi GB/tháng.
Ở chế độ truyền liên tục, Dịch vụ được quản lý của Amazon dành cho Apache Flink tự động điều chỉnh quy mô số lượng KPU cần thiết cho ứng dụng xử lý luồng của bạn khi nhu cầu bộ nhớ và điện toán biến động. Bạn có thể chọn cung cấp ứng dụng của mình với số lượng KPU cần thiết.
Bạn bị tính phí thêm hai KPU mỗi ứng dụng Studio trong chế độ tương tác. 1 KPU được dùng cho việc điều phối ứng dụng Apache Flink và KPU còn lại cho môi trường phát triển tương tác phi máy chủ. Bạn cũng bị tính phí cho dung lượng lưu trữ ứng dụng đang chạy được dùng cho các tính năng xử lý theo trạng thái. Dung lượng lưu trữ ứng dụng đang chạy bị tính phí mỗi GB/tháng.
Khi phát triển trong sổ ghi chép Studio, bạn sẽ không có lựa chọn tạo bản sao lưu ứng dụng bền vững. Tuy nhiên, khi bạn triển khai ứng dụng từ chế độ tương tác sang chế độ phát trực tiếp trong sổ tay Studio, bạn sẽ có thể tạo các bản sao lưu ứng dụng bền vững.
Chúng tôi khuyên bạn nên kiểm thử ứng dụng với các tải sản xuất để ước tính chính xác số lượng KPU cần thiết cho ứng dụng của mình. Mức sử dụng KPU có thể thay đổi đáng kể dựa trên khối lượng và tốc độ dữ liệu của bạn, độ phức tạp của mã, khả năng tích hợp và nhiều yếu tố khác. Điều này đặc biệt đúng khi sử dụng thời gian hoạt động Apache Flink trong Dịch vụ được quản lý của Amazon dành cho Apache Flink. Ví dụ: thông qua kiểm thử nội bộ, chúng tôi đã quan sát thấy thông lượng ở mức hàng trăm MB mỗi giây mỗi KPU đối với các ứng dụng đơn giản không có trạng thái và thông lượng ở mức dưới 1 MB mỗi giây mỗi KPU đối với các ứng dụng phức tạp sử dụng thuật toán máy học (ML) chuyên sâu. Với những lưu ý này, hướng dẫn chung mà chúng tôi đưa ra trước khi kiểm thử ứng dụng của bạn là 1 MB mỗi giây mỗi KPU.
Bạn sử dụng Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink để không ngừng lọc dữ liệu truyền liên tục được Luồng dữ liệu Amazon Kinesis thu thập và chỉ giữ lại những bản ghi cần quan tâm. Bạn muốn có khả năng xem và hiển thị trực quan bản ghi theo thời gian thực cũng như dễ dàng ghi truy vấn và chương trình bằng SQL và Python. Bạn không muốn sao lưu ở trạng thái bền vững. Bạn cung cấp 4 KPU cho sổ tay Studio dựa trên thông lượng của luồng đầu vào. Mức phí hàng tháng của Dịch vụ được quản lý của Amazon dành cho Apache Flink sẽ được tính như sau:
Phí hàng tháng
Giá ở Khu vực Miền Đông Hoa Kỳ (Bắc Virginia) là 0,11 USD mỗi KPU/giờ, được sử dụng cho ứng dụng xử lý luồng của bạn. Ứng dụng đơn giản này sử dụng 4 KPU để xử lý luồng dữ liệu truyền đến. Mỗi ứng dụng sổ tay Studio (ví dụ: chế độ tương tác) bị tính phí thêm 2 KPU mỗi ứng dụng. Phí KPU hàng tháng = 30 ngày * 24 giờ * ([4 KPU + 2 KPU tính thêm] * 0,11 USD/giờ) = 475,20 USD
Ứng dụng Apache Flink sử dụng 50 GB dung lượng lưu trữ ứng dụng đang chạy mỗi KPU và bị tính phí 0,10 USD mỗi GB/tháng ở US-East-1.
Phí lưu trữ ứng dụng đang chạy hàng tháng = 30 ngày * 24 giờ * 4 KPU * (50 GB * 0,10/GB/tháng) = 20,00 USD
Tổng phí = 475,20 USD + 20,00 USD = 495,20 USD
Bạn sử dụng Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink để xây dựng một khung thời gian trượt trên dữ liệu truyền liên tục được một chủ đề trong cụm Dịch vụ truyền được quản lý của Amazon dành cho Apache Kafka (Amazon MSK) thu thập. Bạn sử dụng một sổ tay Studio có 4 KPU trong tám giờ trong hai ngày để phát triển và kiểm thử truy vấn. Sau khi phát triển, bạn triển khai ứng dụng dưới dạng ứng dụng phát trực tiếp có 12 KPU. Sau khi triển khai ứng dụng phát trực tiếp, bạn dừng sổ ghi chép Studio. Ứng dụng phát trực tiếp có thể sử dụng trạng thái ứng dụng bền vững, đồng thời bạn tạo các bản sao lưu ở trạng thái bền vững mỗi ngày.
Giá ở Khu vực Miền Đông Hoa Kỳ (Bắc Virginia) là 0,11 USD mỗi KPU/giờ, được sử dụng cho ứng dụng xử lý luồng của bạn.
Phí hàng tháng
Phát triển và kiểm thử truy vấn Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink:
Phí KPU = 2 ngày * 8 giờ * (4 KPU + 2 KPU tính thêm cho sổ ghi chép Studio) * 0,11 USD/giờ) = 10,56 USD
Ứng dụng Apache Flink sử dụng 50 GB dung lượng lưu trữ ứng dụng đang chạy mỗi KPU và bị tính phí 0,10 USD mỗi GB/tháng ở US-East-1.
Phí lưu trữ ứng dụng đang chạy = 2 ngày* 8 giờ * 4 KPU * (50 GB * 0,10 USD/GB-tháng) = 0,44 USD
Triển khai dưới dạng ứng dụng phát trực tiếp để chạy liên tục và lấy bản sao lưu ứng dụng:
Phí KPU = 28 ngày * 24 giờ * (2 KPU + 1 KPU tính thêm cho ứng dụng phát trực tiếp) * 0,11 USD/giờ) = 221,76 USD
Ứng dụng Apache Flink sử dụng 50 GB dung lượng lưu trữ ứng dụng đang chạy mỗi KPU và bị tính phí 0,121 USD mỗi GB/tháng ở US-East-1.
Phí lưu trữ ứng dụng đang chạy = 28 ngày * 24 giờ * 2 KPU * (50 GB * 0,10 USD/GB-tháng) = 9,33 USD
Phí lưu trữ ứng dụng bền vững = 28* (1 MB/bản sao lưu * 1 GB/1.000 MB) * 0,023 USD/GB-tháng = 0,01 USD (làm tròn tới xu gần nhất)
Tổng phí = 10,56 USD + 0,44 USD + 221,76 USD + 9,33 USD + 0,01 USD = 242,10 USD
Bạn sử dụng ứng dụng Apache Flink trong Dịch vụ được quản lý của Amazon dành cho Apache Flink để chuyển đổi và phân phối liên tục dữ liệu bản ghi được Luồng dữ liệu Kinesis của bạn thu thập sang Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3). Dữ liệu bản ghi được chuyển đổi bằng cách sử dụng nhiều toán tử, trong đó có áp dụng lược đồ cho các sự kiện ghi khác nhau, phân vùng dữ liệu theo loại sự kiện, sắp xếp dữ liệu theo dấu thời gian và tạo bộ đệm dữ liệu trong một giờ trước khi phân phối. Ứng dụng có nhiều bước chuyển đổi nhưng không có bước nào nặng về điện toán. Luồng dữ liệu này sử dụng dữ liệu ở tốc độ 2.000 bản ghi/giây trong 12 giờ mỗi ngày và tăng lên 8.000 bản ghi/giây trong 12 giờ mỗi ngày. Bạn không tạo bất kỳ bản sao lưu ứng dụng bền vững nào. Mức phí hàng tháng của Dịch vụ được quản lý của Amazon dành cho Apache Flink sẽ được tính như sau:
Phí hàng tháng
Giá ở Khu vực Miền Đông Hoa Kỳ (Bắc Virginia) là 0,11 USD mỗi KPU-giờ. Dịch vụ được quản lý của Amazon dành cho Apache Flink phân bổ 50 GB dung lượng lưu trữ ứng dụng đang chạy trên mỗi KPU và tính phí 0,10 USD cho mỗi GB/tháng.
Khối lượng công việc lớn: Trong 12 giờ xử lý khối lượng công việc lớn, ứng dụng Dịch vụ được quản lý của Amazon dành cho Apache Flink đang xử lý 8.000 bản ghi/giây và tự động tăng quy mô theo tài nguyên lên mức 8 KPU. Sau thời gian có khối lượng công việc lớn, ứng dụng Dịch vụ được quản lý của Amazon dành cho Apache Flink giảm quy mô ứng dụng xuống sau 6 giờ hoạt động với thông lượng thấp hơn. Ứng dụng được tăng quy mô lên 8 KPU trong tổng thời gian 18 giờ mỗi ngày.
30 ngày/tháng * 18 giờ/ngày = 540 giờ/tháng
Phí KPU hàng tháng = 540 giờ/tháng * 8 KPU * 0,11 USD/giờ= 475,20 USD
Phí lưu trữ ứng dụng đang chạy hàng tháng = 540 giờ/tháng * 8 KPU * 50 GB/KPU * 0,10 USD/GB-tháng = 30,00 USD
Phí KPU và lưu trữ hàng tháng = 475,20 USD + 30,00 USD = 505,20 USD
Khối lượng công việc nhỏ: Trong thời gian sáu giờ còn lại để xử lý khối lượng công việc nhỏ, ứng dụng Dịch vụ được quản lý của Amazon dành cho Apache Flink đang xử lý 2.000 bản ghi/giây và tự động giảm quy mô theo tài nguyên xuống mức 2 KPU.
30 ngày/tháng * 6 giờ/ngày = 180 giờ/tháng
Phí KPU hàng tháng = 180 giờ/tháng * 2 KPU * 0,11 USD/giờ = 39,60 USD
Phí lưu trữ ứng dụng đang chạy = 180 giờ/tháng * 2 KPU * 50 GB * 0,10/GB - tháng = 2,50 USD
Phí KPU và dung lượng lưu trữ hàng tháng = 39,60 USD + 2,50 USD = 42,10 USD
Mỗi ứng dụng Apache Flink được tính phí thêm một KPU mỗi ứng dụng.
Phí hàng tháng = 30 * 24 * 1 KPU * 0,11 USD/giờ = 79,20 USD
Tổng phí = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD
Bạn sử dụng Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink để xây dựng một khung thời gian trượt trên dữ liệu truyền liên tục được một chủ đề trong cụm Dịch vụ truyền được quản lý của Amazon dành cho Apache Kafka (Amazon MSK) thu thập. Bạn sử dụng sổ tay Studio với 4 KPU mà bạn bắt đầu lúc 10:30 vào ngày đầu tiên của tháng để phát triển và kiểm thử các truy vấn của mình. Sau khi phát triển, bạn triển khai ứng dụng dưới dạng ứng dụng phát trực tiếp có 2 KPU vào lúc 17:00. Sau khi triển khai ứng dụng phát trực tiếp, bạn dừng sổ tay Studio một giờ sau đó vào lúc 18:00. Ứng dụng phát trực tiếp có thể sử dụng trạng thái ứng dụng bền vững, đồng thời bạn tạo các bản sao lưu ở trạng thái bền vững mỗi ngày.
Giá ở Khu vực Miền Đông Hoa Kỳ (Bắc Virginia) là 0,11 USD mỗi KPU/giờ, được sử dụng cho ứng dụng xử lý luồng của bạn.
Phí hàng tháng
Phát triển và kiểm thử truy vấn bằng Studio Dịch vụ được quản lý của Amazon dành cho Apache Flink:
Ứng dụng Studio của bạn chạy trong 450 phút trong tháng (10:30 đến 18:00 vào ngày đầu tiên)
Phí KPU = 450 phút * (4 KPU + 2 KPU bổ sung cho sổ tay Studio) * 0,11 USD/giờ) = 4,95 USD
Các ứng dụng Apache Flink sử dụng 50 GB dung lượng lưu trữ ứng dụng đang chạy cho mỗi KPU với 50 GB dung lượng lưu trữ chạy bổ sung cho các ứng dụng sổ tay Studio và được tính phí 0,10 USD mỗi GB/tháng ở US-East-1.
Phí lưu trữ ứng dụng đang chạy = 450 Phút * (4 KPU + 1 KPU bổ sung cho sổ tay Studio) * (50 GB * 0,10 USD/GB-tháng) = 0,26 USD
Triển khai dưới dạng ứng dụng phát trực tiếp để chạy liên tục và lấy bản sao lưu ứng dụng:
Ứng dụng phát trực tuyến chạy trong 703 giờ trong tháng (từ 17:00 vào ngày đầu tiên)
Phí KPU = 703 giờ * (2 KPU + 1 KPU bổ sung cho ứng dụng phát trực tuyến) * 0,11 USD/giờ) = 231,99 USD
Ứng dụng Apache Flink sử dụng 50 GB dung lượng lưu trữ ứng dụng đang chạy mỗi KPU và bị tính phí 0,121 USD mỗi GB/tháng ở US-East-1.
Phí lưu trữ ứng dụng đang chạy = 703 ngày * 2 KPU * (50 GB * 0,10 USD/GB-tháng) = 9,76 USD
Phí lưu trữ ứng dụng bền vững = 703 giờ * (1 MB/bản sao lưu * 1 GB/1.000 MB) * 0,023 USD/GB-tháng = 0,01 USD (làm tròn tới xu gần nhất)
Tổng phí = 4,95 USD + 0,26 USD + 231,99 USD + 9,76 USD + 0,01 USD = 246,97 USD