Мне нужно отслеживать некоторые большие шумные файлы журнала (500 м / день) из приложения Java (log4j). Прямо сейчас я вручную смотрю на файлы, grep для "ОШИБКИ" и так далее. Однако для инструмента должна быть возможность обнаружить повторяющиеся шаблоны в файле, сосчитать их и обеспечить детализацию отдельных записей. Кто-нибудь знает такой инструмент? Текстовый или веб-интерфейс был бы хорош.
12
perl.Ответы:
Я слышал о людях, применяющих байесовскую фильтрацию к файлам журналов, чтобы находить интересные вещи по сравнению с обычными записями журнала. Они использовали спам-фильтры, где рутинные неинтересные записи считались «хорошими», а необычные - «спамом», и с помощью этой раскраски они могли перемещаться.
Для меня это звучит очень похоже на машинное обучение, но опять же, я не видел его в действии, только слышал об этом из-за пива.
источник
Splunk творит чудеса для такого рода вещей. Я использую это внутренне, чтобы собрать все журналы и сделать быстрый поиск через его превосходный интерфейс на основе браузера.
источник
syslog-ng имеет функцию patterndb с именем feature. Вы можете создавать шаблоны и сопоставлять записи в журнале с ними в режиме реального времени, а затем отправлять эти записи в отдельные файлы журналов.
источник
Просматривая syslog-ng и patterndb (+1 к ответу выше), я обнаружил веб-инструмент под названием ELSA: http://code.google.com/p/enterprise-log-search-and-archive/ , Это F / OSS на Perl, с веб-интерфейсом и должен быть очень быстрым.
Я еще не пробовал, но как только я закончу фильтрацию с помощью patterndb, я попробую ELSA.
источник
Попробуйте Пети .
Я не уверен, что он будет работать с форматом log4j, но вы можете написать собственный фильтр для этого.
У Petit нет веб-интерфейса, он отображает графики в вашей оболочке (ASCII art ftw!).
Очень полезно быстро увидеть повторяющиеся сообщения и выяснить, когда они произошли или стали происходить чаще.
источник
Если вы используете debian / squeeze на своем сервере, взгляните на log2mail: http://packages.debian.org/squeeze/log2mail
источник
Glogg - очень хороший обозреватель журналов, так как у вас есть возможность создать базу фильтров на основе строки и цветовой линии или извлечь все вхождения в строку.
источник
Splunk обычно является хорошим решением для этого. Но вы упомянули, что это слишком дорого для вас. Поэтому я рекомендую вам взглянуть на Logstash или GrayLog .
источник
Вы можете попробовать LogXtender от SEQREL, который автоматически обнаруживает шаблоны и объединяет похожие журналы. Это достигается путем создания регулярных выражений на лету и использования кэшированного регулярного выражения для сопоставления с другими журналами. С дополнительным обнаружением таксономии можно добавить больше детализации. Бесплатная версия может быть загружена в https://try.logxtender.net .
источник