Расчет стоимости на Управляемый сервис Amazon для Apache Flink
Введение
Преобразуйте и анализируйте потоковые данные в реальном времени с помощью Apache Flink
С помощью Управляемого сервиса Amazon для Apache Flink можно преобразовывать и анализировать потоковые данные в режиме реального времени, используя Apache Flink, платформу с открытым исходным кодом и механизм для обработки потоков данных. Управляемый сервис Amazon для Apache Flink упрощает создание рабочих нагрузок и управление ими, а также позволяет с еще большей легкостью интегрировать приложения в другие сервисы AWS.
При использовании Управляемого сервиса Amazon для Apache Flink с вас взимается плата за время работы и количество KPU с шагом в одну секунду. Один KPU включает в себя 1 вычислительный процессор vCPU и 4 ГБ памяти.
Расчет стоимости на Управляемый сервис Amazon для потоковых приложений Apache Flink
При оркестрации приложений Apache Flink взимается плата за дополнительную единицу KPU на каждое приложение. При использовании приложений также взимается плата за запущенное хранилище и за надежные резервные копии. Хранилище запущенного приложения используется для обработки данных с фиксацией состояния в Управляемом сервисе Amazon для Apache Flink и оплачивается с учетом количества ГБ в месяц. Создание постоянных резервных копий предоставляется в качестве дополнительной возможности и позволяет выполнять для приложений восстановление на момент времени. Данная возможность оплачивается по количеству гигабайтов в месяц.
В режиме потоковой передачи Управляемый сервис Amazon для Apache Flink автоматически масштабирует количество KPU, необходимых приложению обработки потоков данных, по мере изменения требований к памяти и вычислительной мощности. Вы можете обеспечить приложение необходимым количеством KPU.
Расчет стоимости на Управляемый сервис Amazon для Студии Apache Flink
В интерактивном режиме начисляется оплата за два дополнительных KPU на приложение в Студии. Один из KPU используется для координации приложения Apache Flink, другой – для бессерверной интерактивной среды разработки. Плата также будет взиматься за запуск хранилища приложений для возможностей обработки с фиксацией состояния. Оплата за хранилище запущенного приложения начисляется за количество ГБ в месяц.
При разработке в блокноте Studio вы не сможете создавать надежные резервные копии приложений. Тем не менее резервные копии возможно сделать при развертывании приложений в блокноте Студии, из интерактивного режима в потоковый.
Общие рекомендации по использованию KPU
Рекомендуем испытать приложение с рабочими нагрузками, чтобы получить точное представление о количестве KPU, необходимом для его работы. Количество используемых KPU может существенно меняться в зависимости от объема данных, скорости их поступления, сложности кода, интеграции и других факторов. Это особенно актуально при использовании среды выполнения Apache Flink в Управляемом сервисе Amazon для Apache Flink. Например, в ходе внутренних испытаний мы установили, что пропускная способность для простых приложений без фиксации состояния составляет сотни МБ в секунду на KPU, а пропускная способность сложных приложений с интенсивным применением алгоритмов машинного обучения (ML) – менее 1 МБ в секунду на KPU. Учитывая эти оговорки, ожидаемая пропускная способность перед тестированием приложения равняется 1 МБ в секунду на KPU.
Цены по регионам AWS
Примеры расчета цен
Открыть всеВ Управляемом сервисе Amazon для Apache Flink вы используете приложение для непрерывного преобразования и доставки данных журналов, собранных потоком Kinesis Data Stream и помещенных в Amazon Simple Storage Service (Amazon S3). Данные журналов преобразуются с помощью нескольких операций, включая применение схемы к различным событиям журналов, разбиение данных по типам событий, их сортировку по временным отметкам и буферизацию в течение одного часа перед доставкой. В приложении может выполняться множество шагов преобразования, но ни один из них не требует интенсивного использования вычислительных ресурсов. Этот поток загружает данные со скоростью 2000 записей в секунду в течение 12 часов в сутки, а в оставшиеся 12 часов скорость возрастает до 8000 записей в секунду. Вы не создаете надежных резервных копий. Ежемесячная плата за Управляемый сервис Amazon для Apache Flink будет рассчитываться следующим образом:
Стоимость за месяц
Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU. Управляемый сервис Amazon для Apache Flink распределяет 50 ГБ хранилища запущенных приложений на один KPU и взимает 0,1 USD/ГБ в месяц.
Повышенная рабочая нагрузка. На протяжении 12 часов повышенной рабочей нагрузки Управляемый сервис Amazon для Apache Flink обрабатывает 8000 записей в секунду и автоматически масштабируется до 8 KPU. После этого периода через 6 часов работы с пониженной пропускной способностью Управляемый сервис Amazon для Apache Flink сокращает количество выделенных ресурсов. Приложение масштабируется до 8 KPU в совокупности 18 часов в сутки.
30 дней в месяц * 18 часов в сутки = 540 часов в месяц
Стоимость KPU за месяц = 540 часов в месяц * 8 KPU * 0,11 USD в час = 475,20 USD
Стоимость хранилища запущенного приложения за месяц = 540 часов в месяц * 8 KPU * 50 ГБ/KPU * 0,10 USD/ГБ‑месяц = 30,00 USD
Стоимость KPU и хранилища за месяц = 475,20 USD + 30,00 USD = 505,20 USD
Пониженная рабочая нагрузка. В течение периода пониженной рабочей нагрузки в оставшиеся 6 часов Управляемый сервис Amazon для Apache Flink обрабатывает 2000 записей в секунду и автоматически масштабируется до 2 KPU.
30 дней в месяц * 6 часов в сутки = 180 часов в месяц
Стоимость KPU за месяц = 180 часов в месяц * 2 KPU * 0,11 USD в час = 39,60 USD
Стоимость хранилища запущенного приложения за месяц = 180 часов в месяц * 2 KPU * 50 ГБ * 0,10 USD/ГБ‑месяц = 2,50 USD
Стоимость KPU и хранилища за месяц = 39,60 USD + 2,50 USD = 42,10 USD
Каждое приложение Apache Flink использует по дополнительной единице KPU.
Плата за дополнительный KPU = 30 * 24 * 1 KPU * 0,11 USD в час = 79,20 USD
Общая стоимость = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD
Вы используете приложение Apache Flink в Управляемом сервисе Amazon для Apache Flink для преобразования данных журналов в Amazon Simple Storage Service (Amazon S3) в пакетном режиме. Данные журналов преобразуются с помощью нескольких операций, таких как применение схемы к различным событиям журналов, разбиение данных по типам событий и их сортировка по временным отметкам. В приложении может выполняться множество шагов преобразования, но ни один из них не требует интенсивного использования вычислительных ресурсов. Это приложение принимает данные со скоростью 2000 записей в секунду в течение 10 минут каждый день на протяжении 30 дней. Вы не создаете надежных резервных копий. Ежемесячная плата за Управляемый сервис Amazon для Apache Flink будет рассчитываться следующим образом:
Стоимость за месяц
Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU. Управляемый сервис Amazon для Apache Flink распределяет 50 ГБ хранилища запущенных приложений на один KPU и взимает 0,1 USD/ГБ в месяц.
Пакетная рабочая нагрузка: в течение 10 минут в день приложение Управляемого сервиса Amazon для Apache Flink обрабатывает 2000 записей в секунду, для чего требуется 2 KPU.
30 дней в месяц * 10 минут в день = 300 минут в месяц
Стоимость KPU за месяц = 300 минут в месяц * 2 KPU * 0,11 USD в час = 1,10 USD
Стоимость хранилища запущенного приложения за месяц = 300 минут в месяц * 2 KPU * 50 ГБ * 0,10 USD/ГБ‑месяц = 0,07 USD
Стоимость KPU и хранилища за месяц = 1,10 USD + 0,07 USD = 1,17 USD
Каждое приложение Apache Flink использует по дополнительной единице KPU.
Стоимость за месяц = 1 KPU * 0,11 USD в час * 10 минут в месяц = 0,02 USD (c округлением до цента)
Общая стоимость = 1,17 USD + 0,02 USD = 1,19 USD
Вы используете Управляемый сервис Amazon для Студии Apache Flink, чтобы непрерывно фильтровать потоковые данные, захваченные Amazon Kinesis Data Streams, и сохранять только искомые записи. Вам нужно просматривать и визуализировать записи в режиме реального времени, а также легко писать запросы и программы на SQL и Python. Вам не нужно создавать надежные резервные копии состояний. Вы предоставляете 4 KPU для блокнота Студии исходя из пропускной способности входящего потока. Ваша ежемесячная плата за Управляемый сервис Amazon для Apache будет рассчитываться следующим образом:
Стоимость за месяц
Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки. Это простое приложение использует для обработки входящего потока данных 4 KPU. За каждое приложение блокнота Студии (например, в интерактивном режиме) взимается плата за два дополнительных KPU.
Стоимость KPU за месяц = 30 дней * 24 часа * ([4 KPU + 2 дополнительных KPU для блокнота Студии] * 0,11 USD в час) = 475,20 USD
Приложения Apache Flink используют 50 ГБ хранилища для запущенных приложений на каждый KPU и дополнительно 50 ГБ для приложений блокнота Студии. В регионе Восток США-1 плата за данные приложения составляет 0,10 USD за ГБ в месяц.
Стоимость хранения запущенных приложений за месяц = 30 дней * 24 часа * (4 KPU + 1 дополнительный KPU для блокнота Студии) * (50 ГБ * 0,10 USD за ГБ в месяц) = 25,00 USD
Общая стоимость = 475,20 USD + 25,00 USD = 500,20 USD
Вы используете Управляемый сервис Amazon для Студии Apache Flink, чтобы создать скользящее окно на основе потоковых данных, захваченных темой в кластере Управляемой потоковой передачи Amazon для Apache Kafka (Amazon MSK). Для разработки и тестирования запросов вы используете блокнот Студии с 4 KPU, который вы запускаете в 10:30 первого дня месяца. После разработки в 17:00 приложение развертывается как потоковое с 2 KPU. Через час, в 18:00, по завершении процесса развертывания вы закрываете блокнот Студии. Потоковое приложение может использовать состояние приложения, и вы каждый день создаете надежные резервные копии состояния.
Цена в регионе Восток США (Сев. Вирджиния) составляет 0,11 USD за час работы единицы KPU, используемой в работе приложения потоковой обработки.
Стоимость за месяц
Разработка и тестирование запроса с использованием Управляемого сервиса Amazon для Студии Apache Flink:
Приложение Студии работает 450 минут в месяц (с 10:30 до 18:00 в первый день)
Стоимость KPU = 450 минут * (4 KPU + 2 дополнительных KPU для блокнота Студии) * 0,11 USD в час) = 4,95 USD
Приложения Apache Flink используют 50 ГБ хранилища для запущенных приложений на каждый KPU и дополнительно 50 ГБ для приложений блокнота Студии. В регионе Восток США-1 плата за данные приложения составляет 0,10 USD за ГБ в месяц.
Плата за хранение запущенных приложений = 450 минут * (4 KPU + 1 дополнительный KPU для блокнота Студии) * (50 ГБ * 0,10 USD за ГБ в месяц) = 0,26 USD
Разработка потокового приложения для непрерывной работы и резервного копирования.
Приложение для потоковой передачи работает 703 часа в месяц (с 17:00 первого дня)
Стоимость KPU = 703 часа * (2 KPU + 1 дополнительный KPU для потокового приложения) * 0,11 USD в час = 231,99 USD
Приложения Apache Flink используют 50 ГБ хранилища запущенного приложения на каждую единицу KPU. В регионе «Восток США-1» это хранилище оплачивается по тарифу 0,121 USD за ГБ-месяц.
Стоимость хранилища запущенного приложения = 703 часа * 2 KPU * (50 ГБ * 0,10 USD/ГБ‑месяц) = 9,76 USD
Стоимость надежного хранилища приложения = 703 часа * (1 МБ/резервная копия * 1 ГБ/1000 МБ) * 0,023 USD/ГБ‑месяц = 0,01 USD (с округлением до цента)
Общая стоимость = 4,95 USD + 0,26 USD + 231,99 USD + 9,76 USD + 0,01 USD = 246,97 USD