Альтернативы Splunk?

Я впечатлен Splunk , особенно версией 4. Красивые графики, оповещения (только для Enterprise) и быстрый, точный поиск. Это отличный продукт.

Тем не менее, стоимость просто слишком высока, чтобы рассмотреть для полного использования продукции для нашей компании. Все, что нам действительно нужно, - это иметь возможность индексировать различные журналы в центральном месте и вести разумный поиск по этому вопросу. Наличие предупреждений на основе сохраненного поиска также очень приятно. Мы на самом деле не идем дальше.

На самом деле, наше самое большое использование было в развертывании новых приложений. Все регистрируется через log4net либо в журнал событий в Windows, либо в текстовый файл в Linux. Splunk позволяет довольно быстро выполнять поиск среди них, чтобы убедиться, что все части приложения работают нормально - это сэкономило нам массу времени по сравнению с поиском отдельных источников журналирования.

Какие альтернативы существуют на этом рынке? У меня тонущее чувство, что цены на Splunk настолько высоки, потому что у них самый лучший продукт, и они это знают. Мы хотим, чтобы сервер работал на Windows.

Я был бы открыт для сплит-модели, используя один продукт для общих журналов (сбор через syslog / Snare) и специальный продукт для наших пользовательских приложений (например, Log4Net Dashboard ).

Будет ли работать простой сервер системного журнала, такой как Kiwi, отправленный на SQL Server (возможно, с включенным полным текстом)?

Я надеюсь, что стоимость должна быть ниже 5 цифр, долларов США. (И да, я знаю, мы дешевые. Мы - стартап с небольшими деньгами, и BizSpark берет на себя все наши лицензии на MS.)

Редактировать: я должен добавить, у нас есть около 10 физических серверов, 20 виртуальных машин и пара брандмауэров и коммутаторов. 90% это Windows.

Примечание. Это все, что касается Linux и свободного программного обеспечения , так как это то, чем я чаще всего пользуюсь, но вы можете использовать клиент системного журнала в Windows для отправки журналов на сервер системного журнала Linux.

Ведение журнала на сервере SQL. Имея всего ~ 30 машин, у вас должно получиться хорошо с любым централизованным syslog-подобным и SQL-сервером. Для этого я использую syslog-ng и MySQL в Linux.

Главной проблемой являются симпатичные интерфейсы для построения графиков - кажется, что существует множество взломанных внешних интерфейсов, которые будут извлекать элементы из журналов и показывать, сколько обращений, предупреждений и т. Д., Но я не нашел ничего интегрированного и чистого. По общему признанию это - главное, что Вы ищете ... (Если я найду что-нибудь хорошее, я обновлю этот раздел!)

Оповещение : я использую SEC на сервере Linux, чтобы находить плохие события в журналах и предупреждать меня различными способами. Он невероятно гибкий и не такой щелкающий, как Splunk. Здесь есть хороший учебник, в котором рассказывается о многих возможных функциях.

Я также использую Nagios для графиков различной статистики и некоторых предупреждений, которые я не получаю из журналов (например, когда службы не работают и т. Д.). Это может быть легко настроено, чтобы добавить графики чего угодно. Я добавил графики элементов, таких как количество обращений к http-серверу, когда агент использовал плагин check_logfiles для подсчета количества обращений в журналах (он сохраняет позицию, которую получает до каждого периода проверки).

В целом, это зависит от того, сколько будет стоить ваше время на настройку , так как есть много вариантов, которые вы можете использовать, но они не так интегрированы, как Splunk, и, вероятно, потребуют больше усилий, чтобы выполнить то, что вы хотите. Графики Nagios просты в настройке, но не дают вам исторических данных до добавления графика, тогда как с помощью Splunk (и, вероятно, других внешних интерфейсов) вы можете оглянуться на прошлые журналы и графические вещи, которые вы только что подумал посмотреть на них.

Также обратите внимание, что формат базы данных SQL и индексирование будут иметь огромное влияние на скорость запросов, поэтому ваша идея полнотекстовой индексации значительно увеличит скорость поиска. Я не уверен, что MySQL или PostgreSQL будут делать что-то подобное.

Изменить : MySQL будет выполнять полнотекстовое индексирование, но только для таблиц MyISAM до MySQL 5.6. В 5.6 Добавлена ​​поддержка InnoDB .

Изменить : Postgresql может делать полнотекстовый поиск, конечно: http://www.postgresql.org/docs/9.0/static/textsearch.html

Больше нацелен на * nix, чем на windows, но осьминог действительно поддерживает windows и, похоже, стремится к тому же виду, что и spunk

Я нахожусь в процессе опробования ряда решений для мониторинга, но я хочу в основном контролировать окна. Большинство систем ориентированы на мониторинг SNMP, который позволяет извлекать значительное количество информации без агентов.

Вот некоторые из систем, которые я пробовал до сих пор:

Nagios - Открытый исходный код. Свинья для настройки, но высоко оценена и кажется очень гибкой. Похоже, что это по сути счетчик записи, и он не позволяет выполнять удаленное выполнение сценариев, поэтому его нельзя использовать для обнаружения проблем конфигурации, например, системного центра MS или Kaseya. Без агента, но, по сути, бесполезен без инструмента NSclient, установленного на каждом клиенте.

Cacti - симпатичный и простой инструмент для построения графиков, основанный на использовании статистики snmp. Безагентное.

OpsView - основан на Nagios, но проще в настройке и имеет лучший внешний интерфейс.

HypericHQ - легко настроить и запустить под Windows. Базовая версия бесплатна и делает много. Есть коммерческое предприятие HypericHQ. Агент должен быть установлен на каждом клиенте.

Zabbix - еще один приятный инструмент для мониторинга. Его проще использовать, чем нагиос. Имеет агент, который вы можете установить на Windows и клиентские машины. Я только немного изучил это.

Zenoss - Открытый исходный код. Я был очень впечатлен тем, насколько профессионален Zenoss. Это монитор, основанный на SNMP и имеющий множество расширений, позволяющих осуществлять мониторинг производительности HP, служб Windows, MS SQL Server, MySQL. Все расширения работают через SNMP, поэтому на клиентских машинах ничего устанавливать не нужно. Я еще не исследовал все это, и, похоже, многое еще предстоит использовать. Он основан на Zope, поэтому, если вы не разбираетесь в установке Zope, я бы порекомендовал загрузить предварительно подготовленную ВМ - она ​​работает как из коробки прямо из коробки.

В коммерческом плане вы можете взглянуть на несколько инструментов:

Касея - стоит около 6 тыс. В год на 250 узлов, если я правильно помню, но это превосходный инструмент и очень активное сообщество пользователей. Он нацелен на рынок msp и позволяет осуществлять мониторинг систем нескольких компаний. Он может быть использован внутри без проблем.

GFI Hounddog - проще, чем Касея, но очень дешевый на данный момент. Определенно стоит посмотреть.

Существует целый ряд решений, которые продаются как системы MSP, но в основном это мониторы + удаленное администрирование.

Ян

Для централизованного системного журнала с множеством замечательных функций я не могу не рекомендовать rsyslog . Это сервер системного журнала с открытым исходным кодом, который может успешно функционировать в качестве замены обычного системного журнала, который вы знаете и любите. Теперь он является системным журналом для Ubuntu, и я думаю, что Red Hat и Fedora тоже могут пойти по этому пути. Я обнаружил, что намного проще получить и запустить, и делать то, что вы хотите, это syslog-ng.

В настоящее время в нашем магазине есть два центральных сервера rsyslog (по одному на каждом сайте), которые получают журналы для сотен серверов. Я получаю автоматические оповещения по электронной почте всякий раз, когда что-то в системном журнале вызывает предупреждение или выше (с некоторыми изменениями, конечно, некоторые приложения немного паникуют). Я мог бы, вероятно, сделать еще несколько умов, например заставить его посылать вещи нагио или что-то подобное, но на данный момент это достаточно для нас.

Все это также входит в базу данных mysql (есть также поддержка Oracle или postgresql, если вы так работаете).

Также есть веб-интерфейс и агент Windows для отправки журналов Eventlog на сервер rsyslog. Веб-интерфейс, очевидно, не такой приятный, как спанк, но он выполняет свою работу за 0 долларов.

Взгляните на http://www.codeplex.com/polymon

Его открытый исходный код, использует SQL Server на сервере и имеет модный интерфейс

Я согласен, что Splunk потрясающий. Однако для небольших, преимущественно Linux-сред вы, возможно, захотите взглянуть на что-то вроде эпилога .

Мы использовали его в одном из мест, где я работал, и это было здорово для того, что мы хотели.

Не уверен, насколько хорошо он будет обрабатывать сообщения системного журнала Windows, которые отправляются сборщику системного журнала Linux, но, возможно, того стоит.

Просто ссылка на мой ответ еще где:

Splunk фантастически дорог: каковы альтернативы?

Редактировать (новые проекты):

В LogStash и Graylog2 проекты выглядят очень интересно

Вот пара видео: один два .

Что-то вроде GFI EventsManager может добиться цели примерно за 4 тысячи долларов.

• Анализ журналов событий, включая SNMP-ловушки, журналы событий Windows, журналы W3C и системный журнал
• Оповещения в режиме реального времени, включая оповещения о ловушках SNMPv2
• Просмотр отчетов по ключевой информации о безопасности происходит сейчас
• Централизованная регистрация событий
• Удалить «шум» или тривиальные события, которые составляют большую долю всех событий безопасности
• В режиме реального времени 24 х 7 х 365 дней мониторинга и оповещения
• Графически контролировать состояние GFI EventsManager и вашей сети через встроенный монитор состояния
• Поддержка виртуальных сред

Если вы ищете замену SysLog, вы можете также подумать о коммерческой замене syslog / rsyslog, например, LogLogic, http://loglogic.com . У нас (там, где я работаю) есть полнофункциональный набор устройств для ведения журналов, хранения и отчетности. По сути, это способность собирать 100 000 сообщений в секунду, проверять и индексировать их, чтобы можно было выполнять поиск.

Вы можете попробовать logscape из liquidlabs - очень похоже на splunk, но также имеет несколько различных функций .... http://www.liquidlabs-cloud.com/products/logscape.html

Я работал с SQL-сервером на предыдущей работе (кстати, это был MySQL), в комплекте со скриптами, интерфейсом Drupal с пользовательскими скриптами PHP, все работает.

Честно говоря, это заняло слишком много человеко-часов и все еще не было Splunk.

В настоящее время я тестирую Splunk. Да, это не бесплатно, но, глядя на общую картину, это может быть на самом деле дешевле.

Вы пробовали php-syslog-ng? http://code.google.com/p/php-syslog-ng/

Я разместил двойную ветку: Splunk фантастически дорог: каковы альтернативы?

xpolog и все серьезные коммерческие решения стоят БОЛЬШОГО (даже если меньше, чем спанк, большинство из них просто 5 цифр!)

Оооочень, что мы наконец-то сделали (потому что splunk было слишком много $):

1) Мы хотели простой системный журнал для конвейера sql db

2) Мы попробовали системный журнал киви. Это работало отлично в течение недели, перестало работать, и поддержка киви не могла это исправить. Итак, мы бросили киви

3) Мы попробовали winsyslog. Старая собака приложения, мы не хотели изучать это.

4) Мы использовали это бесплатное приложение .net: http://www.aonaware.com/syslog.htm

Вуаля. У нас есть сообщения системного журнала в нашей базе данных.

Мы очень счастливы. $ 0 потрачено несколько часов, но не слишком много.

Мы используем Splunk здесь, и я отчасти шокирован ценой, которую они вам сказали. Мы получили базовую разбивку где-то около 1 тыс. Долларов США на 1 ГБ данных. Это дорого, но супер мощный и очень быстро развиваться. В зависимости от ваших источников данных и того, что вы хотите с ними делать, некоторые скрипты на python и perl могут дать вам много похожих данных. Большая разница будет во времени и обучении действительно владеть языком для обработки текста. Вы также не сможете получить информацию об IP-адресе в реальном времени (например, системный журнал), хотя вы можете исправить это, запустив системный журнал и выведя информацию в текстовый файл. Извините, я не могу указать вам какое-либо конкретное решение; для чего мы не можем использовать Splunk, для чего мы используем сценарии Python, Perl и Bash.

ELSA - Enterprise Log Поиск и архив

Основные характеристики:

• Полнотекстовый поиск по любому слову в сообщении или разобранном поле.
• Группировка по любому полю и создание отчетов на основе результатов.
• Расписание поисков.
• Оповещение о поиске совпадений на новых журналах.
• Сохранить результаты поиска, сохранить результаты поиска по электронной почте.
• Создание билетов на инциденты на основе результатов поиска (с плагином).
• Полная система плагинов для результатов.
• Экспорт результатов в виде постоянной ссылки или в Excel, PDF, CSV и HTML.
• Полная интеграция LDAP для разрешений.
• Статистика запросов по пользователю и размеру журнала и количеству.
• Полностью распределенная архитектура, может обрабатывать n узлов, причем все запросы выполняются параллельно.
• Сжатый архив с соотношением лучше 10: 1.

Детали исполнения:

Для определения системы, в порядке важности: размер диска, RAM, скорость диска, количество процессоров. Основным фактором производительности является индексатор и поисковый демон Sphinx, поэтому обратитесь к sphinxsearch.com за документами. Мои данные взяты из больших систем (16 ЦП, 144 ГБ ОЗУ, 12 ТБ HD), но вы получите такую ​​же производительность в системе с 4 ЦП, 8 ГБ ОЗУ и HD любого размера, поскольку все масштабируется линейно. Сначала система работала на блейд-серверах IBM с 4 ГБ ОЗУ и медленными дисками SAN и работала примерно с той же скоростью, но 4 ГБ сокращают ее.

Информация о производительности и список основных функций, а также описание архитектуры: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Код: https://code.google.com/p/enterprise-log-search-and-archive/

ВМ: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Подробности относительно проекта: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Если вы ищете гораздо более доступную альтернативу Splunk - попробуйте LogZilla ( http://www.logzilla.pro ). Он масштабируется лучше или лучше, чем Splunk (вы можете искать более 300 м журналов за 1-2 секунды) и легко составляет 1/10 от стоимости. У них есть демоверсия на http://demo.logzilla.pro