Apache Kafka - это распределенная потоковая платформа, предназначенная для хранения и обработки потоков данных с высокой пропускной способностью.
Меня попросили оценить RabbitMQ вместо Kafka, но мне было трудно найти причину, по которой он делает что-то лучше, чем Kafka. Кто-нибудь знает, действительно ли он лучше по пропускной способности, долговечности, задержке или простоте...
Хотя я раньше сталкивался с Кафкой , я только недавно понял, что Кафку, возможно, можно использовать как (основу) CQRS , хранилище событий . Один из основных моментов, которые поддерживает Кафка: Захват / хранение событий, все ГА, конечно. Паб / суб архитектура Возможность воспроизведения журнала...
Я начинаю изучать Kafka для решения корпоративных задач. Во время моих чтений у меня возникли вопросы: Когда производитель создает сообщение - он укажет тему, в которую он хочет отправить сообщение, верно? Это заботится о разделах? Когда подписчик работает - он задает свой идентификатор группы,...
Есть ли способ очистить тему в кафке? Я поместил сообщение, которое было слишком большим, в тему сообщения kafka на моей локальной машине, и теперь я получаю сообщение об ошибке: kafka.common.InvalidMessageSizeException: invalid message size Увеличение fetch.sizeне является идеальным здесь, потому...
Я пытаюсь использовать Кафку. Все настройки выполнены правильно, но когда я пытаюсь создать сообщение с консоли, я получаю следующую ошибку WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Кафка версия:...
Я относительно новичок в Кафке. Я немного поэкспериментировал с этим, но некоторые вещи мне неясны в отношении компенсации потребителю. Из того, что я понял до сих пор, когда потребитель начинает, смещение, с которого он начнет читать, определяется настройкой конфигурации...
Одна из первых вещей, о которых я думаю, когда использую новый сервис (например, хранилище данных без RDBMS или очередь сообщений), это: «Как мне структурировать мои данные?». Я читал и смотрел некоторые вводные материалы. В частности, возьмем, например, Kafka: распределенную систему обмена...
В Kafka я хотел бы использовать только одного брокера, одну тему и один раздел с одним производителем и несколькими потребителями (каждый потребитель получает свою собственную копию данных от брокера). Учитывая это, я не хочу накладных расходов на использование Zookeeper; Могу я не использовать...
Я отправляю String-сообщения в Kafka V. 0.8 с помощью Java Producer API. Если размер сообщения составляет около 15 МБ, я получаю файл MessageSizeTooLargeException. Я пытался установить message.max.bytesзначение 40 МБ, но все равно получаю исключение. Мелкие сообщения работали без проблем....
Как найти версию kafka в Linux? есть ли способ найти установленную версию kafka, кроме упоминания версии при ее
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); В настоящее время я отправляю сообщения без ключа как часть сообщений с ключом, будет ли оно работать...
Apache Kafka: распределенная система обмена сообщениями Apache Storm: обработка сообщений в реальном времени Как мы можем использовать обе технологии в конвейере данных в реальном времени для обработки данных о событиях? Что касается конвейера данных в реальном времени, мне кажется, что оба они...
Я недавно начал изучать Kafka и в итоге получаю эти вопросы. В чем разница между Consumer и Stream? Для меня, если какой-либо инструмент / приложение потребляет сообщения от Kafka, является потребителем в мире Kafka. Чем отличается Stream, поскольку он также потребляет или отправляет сообщения...
Мне нужно удалить тему testв Apache Kafka 0.8.1.1. Как указано в документации , я выполнил: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Однако это приводит к следующему сообщению: Command must include exactly one action: --list, --describe, --create or --alter Как мне...
Закрыто . Этот вопрос должен быть более конкретным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он фокусировался только на одной проблеме, отредактировав этот пост . Закрыт 10 месяцев назад . Уточните этот вопрос Все примеры из Кафки |...
Я использую apache kafka для обмена сообщениями. Я реализовал производителя и потребителя на Java. Как узнать количество сообщений в теме?
Закрыто . Этот вопрос должен быть более конкретным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он фокусировался только на одной проблеме, отредактировав этот пост . Закрыт 2 месяца назад . Уточните этот вопрос Redis можно использовать как...
Есть ли способ удалить все данные из темы или удалить тему перед каждым запуском? Могу ли я изменить файл KafkaConfig.scala, чтобы изменить logRetentionHoursсвойство? Есть ли способ удалить сообщения, как только потребитель их прочитает? Я использую производителей для извлечения данных откуда-то и...
Закрыто . Этот вопрос должен быть более сфокусированным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он фокусировался только на одной проблеме, отредактировав этот пост. . Закрыто 4 дня назад . Я пошел на собеседование по работе с инженером данных...
Я использую клиент Confluent.Kafka .NET версии 1.3.0. Я следую за документами : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId,...