Какая база данных подходит для реализации IoT

Я должен предоставить услугу IoT для своего клиента. Компоненты MQTT, Kafka и Rest Services будут использоваться для загрузки данных с устройств в базу данных. Мне нужно сделать некоторую аналитику по данным в бэкэнде. Размер данных будет 135 байтов / устройство и 6000 устройств / секунду. Я поделился архитектурой здесь, чтобы понять требования и компоненты.

Я исследовал хранилища данных (MongoDB, Postgresql (TimescaleDB), Redis, Neo4j, Cassandra), и все поставщики доказали, что их база данных подходит для варианта использования IoT. Я запутался в использовании проверенной / самой надежной / масштабируемой базы данных для IoT.

Что может быть наилучшей подходящей базой данных, чтобы проглотить это большое количество данных и сделать аналитику?

Есть ли проверенный эталон для подходящей базы данных для IoT?

Пожалуйста, дайте свои мысли и предложения.

Вы ограничены либо базами данных NoSQL, потому что любая база данных SQL не позволит вам использовать 6K TPS непосредственно на сервере, а также вы не можете использовать какой-либо облачный сервис SaaS или платформу, уже специализирующуюся на таких операциях - например, получать телематические данные через MQTT / Kafka, разделите его и сохраните для этих 6000 устройств и предоставьте простой REST API для доступа к данным телеметрии. Как флеспи или что-то подобное.

IoT - это в значительной степени данные временных рядов. Существует несколько TSDB: InfluxDB, OpenTSDB, GridDB и т. Д. Все они имеют версию сообщества / oss, поэтому вы можете увидеть, соответствует ли она вашим потребностям. InfluxDB является популярным, но обратите внимание, что кластеризация доступна только для платной версии. OpenTSD - чистый oss, и GridDB утверждает, что он ориентирован на IoT и быстрее, чем InfluxDB. В зависимости от ваших потребностей, возможно, вы захотите найти тот, который имеет быстрый прием.

Timescaledb, расширение postgres, настроенное для наборов данных временных рядов, работает очень хорошо. И вы получаете обычные функции реляционной базы данных, использование SQL, надежность, индексы, масштабируемость.

Вопрос широкий и точного ответа дать невозможно, но эти ссылки могут помочь:

http://outlyer.com/blog/top10-open-source-time-series-databases/

Продолжение с тестами: http://outlyer.com/blog/time-series-database-benchmarks/

Другое сравнение: https://gist.github.com/sacreman/00a85cf09251147175241d334aafa798

Я установил некоторые правила, чтобы попытаться ограничить сферу, иначе этот блог никогда не закончится.

Были сравнены только бесплатные базы данных временных рядов с открытым исходным кодом и их функции. Поэтому кто-то спрашивает: «Вы пробовали Kdb + и Informix?», Ответ будет «нет». Они, вероятно, потрясающие, хотя.

Список будет включать только базы данных, которые либо классифицируют себя в своих маркетинговых материалах как временные ряды, либо были описаны в блоге крутой компанией как нечто, что они используют для данных временных рядов.

Что было сделано, так это чтение официальных документов, чтение StackOverflow, просмотр проблем и кода на Github и, как правило, совместное взламывание информации. Учитывая это, некоторые факты могут быть неверными.

Если кто-то обнаружит что-то на самом деле не так, пожалуйста, дайте мне знать, и я обновлю блог.

Бенчмаркинг был основан на маркетинговых заявлениях и оценке. Почему? Потому что бенчмаркинг - это значительный объем работы и подвержен ошибкам. Вы всегда получаете «вы должны были настроить эту особую недокументированную настройку». Указанные числа очень благоприятны для большинства баз данных. Это либо цифры, о которых пишут в блоге, либо они были опубликованы в Твиттере в прошлом. Если вы считаете, что какие-то цифры неверны, дайте мне знать, и я обновлю их.

В дополнение к предыдущим ответам я также рекомендую взглянуть на Tarantool , ClickHouse и ScyllaDB . Этих решений более чем достаточно для большинства случаев.

За исключением того, что в некоторых ситуациях, особенно для встраивания, MDBX (или что-то подобное) может быть полезным.