В чем разница между Kafka и Redis OSS?

Apache Kafka – это платформа потоковой передачи событий, которая позволяет нескольким приложениям передавать данные независимо друг от друга. Эти приложения, называемые производителями и потребителями, публикуют и подписывают информацию в определенных разделах данных, называемых темами, а также из них.

Между тем сервис Redis OSS представляет собой базу данных в памяти, поддерживающую передачу данных между приложениями с малой задержкой. Сервис хранит все сообщения в оперативной памяти, а не на жестком диске, чтобы сократить время чтения и записи данных. Как и в случае с Kafka, несколько пользователей могут подписаться на поток Redis OSS для получения сообщений.

Для рассылки сообщений по модели «издатель – подписчик» можно использовать как Kafka, так и Redis OSS, однако при этом стоит учитывать тот факт, что работают сервисы по-разному.

Рабочий процесс Kafka

Apache Kafka объединяет производителей и потребителей с помощью вычислительных кластеров. Каждый кластер состоит из нескольких брокеров Kafka, размещенных на разных серверах.

Kafka создает темы и разделы для таких целей:

• темы для группировки похожих данных, связанных с затрагиваемой темой, например электронная почта, платежи, пользователи и покупки;
• разделы между разными брокерами для репликации данных и обеспечения отказоустойчивости.

Производители публикуют сообщения для брокера. После получения сообщения брокер классифицирует данные по темам и сохраняет их в разделе. Потребители подключаются к соответствующей теме и извлекают данные из раздела.

Рабочий процесс Redis OSS

Redis OSS работает с архитектурой «клиент – сервер» в качестве системы баз данных NoSQL. Производители и потребители слабо связаны друг с другом: им не нужно знать друг друга при отправке сообщений.

Redis OSS использует ключи, первичные и вторичные узлы для описанных ниже целей.

• Ключи для группировки похожих сообщений. Например, «электронная почта» является ключом, указывающим на хранилище данных, в котором хранятся только сообщения электронной почты. 
• Первичные и вторичные узлы для репликации сообщений.

Когда производитель отправляет сообщение определенному узлу, Redis OSS доставляет его всем подключенным подписчикам, проверяя ключ сообщения. Чтобы получать сообщения, потребителю следует обязательно установить и поддерживать активное соединение с сервером Redis OSS. Это семантика подключенной доставки.

Подробнее о рассылке сообщений о публикациях и подписках »

В целом Apache Kafka превосходит Redis OSS в рассылке сообщений по модели «издатель – подписчик», поскольку сервис был разработан специально для потоковой передачи данных. Сервис Redis OSS предусматривает несколько вариантов использования, в которых Kafka не может использоваться. 

Параллелизм

Параллелизм – это возможность одновременного получения одного и того же сообщения несколькими потребителями.

Redis OSS не поддерживает параллелизм.

В отличие от него, Kafka позволяет рассылать одно и то же сообщение нескольким потребителям одновременно. Обычно потребители в группах Kafka получают новые сообщения из раздела по очереди. Если в нескольких группах потребителей есть только один потребитель, он будет получать все сообщения. Преимущества такой настройки и репликации разделов дают возможность назначать одного потребителя каждой группе на каждой реплике раздела. В результате все потребители получают сообщения в одинаковом порядке. 

Пропускная способность сети

Пропускная способность показывает, сколько сообщений каждая система способна обрабатывать в секунду.

У Kafka этот показатель обычно выше, чем у модели «издатель – подписчик» Redis OSS. Kafka справляется с гораздо большими объемами данных, так как сервису не требуется дожидаться, пока каждый подписчик получит сообщение, прежде чем перейти к следующему. Вместо этого сообщения временно сохраняются в памяти и хранилище, что ускоряет чтение. 

Однако, если потребители не успевают обработать сообщения достаточно быстро, производительность Kafka может снизиться, так как сообщения из памяти со временем удаляются. Тогда потребители читают данные с диска, что происходит медленнее.

В отличие от этого, Redis OSS ожидает подтверждение от каждого потребителя, что снижает пропускную способность по мере роста числа подключённых узлов. Обходной путь – отправка нескольких запросов посредством процесса под названием конвейерная обработка, однако стоит учесть, что это уменьшает задержку рассылки. 

Задержка

Как Kafka, так и Redis OSS подходят для обработки данных с малой задержкой. Время рассылки с помощью Redis OSS меньше, оно исчисляется в миллисекундах, тогда как время рассылки с помощью Kafka в среднем составляет десятки миллисекунд.

Поскольку Redis OSS выполняет чтение и запись данных в основном в оперативной памяти, сервис, безусловно, опережает Kafka по показателям скорости. Однако Redis OSS может не поддерживать операции с данными со сверхнизкой задержкой при обработке больших сообщений. В то же время Kafka требуется больше времени на репликацию разделов на разных физических дисках для сохранения данных, что увеличивает время доставки сообщений.

Оптимизация задержек для Redis OSS и Kafka возможна, однако при этом следует соблюдать соответствующие меры предосторожности. Например, сообщения Kafka можно сжимать, чтобы уменьшить задержку, но при этом производителям и потребителям потребуется больше времени на их распаковку.

Задержка в Redis OSS может быть вызвана несколькими факторами, включая операционную среду, сетевые операции, медленные команды или ответвление. Чтобы сократить задержки при ответвлении, Redis OSS рекомендует запускать систему по модели «издатель – подписчик» на современных инстансах EC2 на базе аппаратной виртуальной машины.

Отказоустойчивость

Kafka записывает все данные на диск хранения ведущего брокера и реплицирует их на разные серверы. При сбое сервера несколько подписчиков извлекают данные из резервных разделов. 

В отличие от Kafka, Redis OSS по умолчанию не создает резервные копии данных, поэтому пользователям приходится включать эту функцию вручную. Redis OSS использует хранилище данных в памяти, при выключении питания которого все данные утрачиваются. Во избежание таких инцидентов разработчики включили функцию сохранения базы данных Redis OSS, чтобы периодически делать снимки данных оперативной памяти и сохранять их на диске. 

	Apache Kafka	Redis OSS
Размер сообщения	Поддерживает размер сообщений до 1 ГБ со сжатием и многоуровневым хранилищем.	Поддерживает меньший размер сообщения.
Доставка сообщений	Подписчики извлекают сообщения из очереди.	Сервер Redis OSS отправляет сообщения подключенным подписчикам.
Хранение сообщений	Сохраняет сообщения после извлечения.	Не сохраняет сообщения.
Обработка ошибок	Надежная обработка ошибок на уровне сообщений. Очередь недоставленных писем, повторная попытка для события и перенаправление.	Исключения Redis OSS необходимо обрабатывать на уровне приложений с применением тайм-аутов, ограничений клиентов и объемов буфера памяти.
Параллелизм	Kafka поддерживает параллелизм. Несколько потребителей могут одновременно получать одно и то же сообщение.	Не поддерживает параллелизм.
Пропускная способность сети	Обладает более высокой пропускной способностью благодаря асинхронному чтению и записи.	Пропускная способность снижается, поскольку серверу Redis OSS необходимо дождаться ответа, прежде чем отправлять сообщение другому подписчику.
Задержка	Низкая задержка. Скорость несколько снижается по сравнению с Redis OSS из-за репликации данных по умолчанию.	Сверхнизкая задержка при рассылке сообщений меньшего размера.
Отказоустойчивость	Автоматическое резервное копирование разделов для разных брокеров.	По умолчанию резервное копирование не выполняется. Пользователи могут включить постоянное хранение Redis OSS вручную. Риск потери небольших данных.