Apache Kafka против Apache Storm

Apache Kafka: распределенная система обмена сообщениями
Apache Storm: обработка сообщений в реальном времени

Как мы можем использовать обе технологии в конвейере данных в реальном времени для обработки данных о событиях?

Что касается конвейера данных в реальном времени, мне кажется, что оба они выполняют свою работу одинаково. Как мы можем использовать обе технологии в конвейере данных?

Вы используете Apache Kafka в качестве распределенной и надежной очереди, которая может обрабатывать большие объемы данных и позволяет передавать сообщения от одной конечной точки к другой.

Шторм - это не очередь. Это система с распределенными возможностями обработки в реальном времени, что означает, что вы можете выполнять все виды манипуляций с данными в реальном времени параллельно.

Общий поток этих инструментов (насколько я знаю) выглядит следующим образом:

система реального времени -> Kafka -> Storm -> NoSql -> BI (необязательно)

Итак, у вас есть приложение в реальном времени, которое обрабатывает большие объемы данных и отправляет их в очередь Kafka. Storm извлекает данные из kafka и применяет некоторые необходимые манипуляции. На этом этапе вы обычно хотите получить некоторые преимущества от этих данных, поэтому вы либо отправляете их в какую-то базу данных Nosql для дополнительных вычислений BI, либо вы можете просто запросить этот NoSql из любой другой системы.

У Кафки и Шторма несколько иное назначение:

Kafka - это распределенный брокер сообщений, который может обрабатывать большое количество сообщений в секунду. Он использует парадигму публикации-подписки и полагается на темы и разделы. Kafka использует Zookeeper для обмена и сохранения состояния между брокерами. Таким образом, Кафка в основном отвечает за передачу сообщений с одной машины на другую.

Storm - это масштабируемая, отказоустойчивая аналитическая система в реальном времени (как Hadoop в реальном времени). Он потребляет данные из источников (Spouts) и передает их конвейеру (Bolts). Вы можете объединить их в топологию. Итак, Storm - это, по сути, вычислительная единица (агрегирование, машинное обучение).

Но вы можете использовать их вместе: например, ваше приложение использует kafka для отправки данных на другие серверы, которые используют шторм для выполнения некоторых вычислений.

Я знаю, что это более старый поток, и сравнения Apache Kafka и Storm были действительными и правильными, когда они были написаны, но стоит отметить, что Apache Kafka сильно изменился за эти годы, и с версии 0.10 (апрель 2016 г.) Kafka включил API Kafka Streams, который предоставляет возможности обработки потоков без необходимости в каком-либо дополнительном программном обеспечении, таком как Storm. Kafka также включает в себя Connect API для подключения к различным источникам и приемникам (получателям) данных.

Блог объявлений - https://www.confluent.io/blog/introduction-kafka-streams-stream-processing-made-simple/

Текущая документация Apache - https://kafka.apache.org/documentation/streams/

В 0.11 Kafka функциональность потоковой обработки была дополнительно расширена, чтобы обеспечить семантику и транзакции ровно один раз.

https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/

Вот как это работает

Kafka - для обеспечения потока в реальном времени

Storm - для выполнения некоторых операций с этим потоком

Вы можете взглянуть на проект GitHub https://github.com/abhishekgoel137/kafka-nodejs-d3js .

(D3js - библиотека графических представлений)

Идеальный случай:

Realtime application -> Kafka -> Storm -> NoSQL -> d3js

Этот репозиторий основан на:

Realtime application -> Kafka -> <plain Node.js> -> NoSQL -> d3js

Как все объясняют, Apache Kafka: это очередь непрерывного обмена сообщениями.

Apache Storm: инструмент непрерывной обработки

здесь, в этом аспекте, Kafka будет получать данные с любого веб-сайта, такого как FB, Twitter, с помощью API, и эти данные обрабатываются с помощью Apache Storm, и вы можете хранить обработанные данные в любой из любых баз данных, которые вам нравятся.

https://github.com/miguno/kafka-storm-starter

Просто следуйте за ним, вы получите некоторое представление

Когда у меня есть вариант использования, который требует от меня визуализировать или предупреждать о шаблонах (подумайте о тенденциях в твиттере), продолжая обрабатывать события, у меня есть несколько шаблонов.
NiFi позволил бы мне обработать событие и обновить постоянное хранилище данных с помощью небольшой (er) пакетной агрегации с очень, очень небольшим количеством пользовательского кода.
Storm (много настраиваемого кода) позволяет мне почти в реальном времени получать доступ к трендам.
Если я могу подождать много секунд, я могу выполнить пакетную обработку из kafka в hdfs (Parquet) и обработать.
Если мне нужно знать за секунды, мне понадобится NiFi и, возможно, даже Storm. (Подумайте о мониторинге тысяч земных станций, где мне нужно видеть погодные условия небольшого региона для предупреждений о торнадо).

Просто Kafka отправляет сообщения от узла к другому, а Storm обрабатывает сообщения. Посмотрите этот пример того, как вы можете интегрировать Apache Kafka с Storm