Есть ли команда Unix / Linux для подсчета строк в секунду от стандартного ввода?

22

Я пытаюсь подсчитать количество запросов SQL в секунду из файла журнала, и я хочу сделать это в режиме реального времени, передав поток stdout из grep в какую-то команду. (Я делаю некоторые тесты производительности)

Я мог бы написать это сам, но думал наверняка, что это будет.

Я посмотрел на туалет, но не увидел возможности разрешить это.

Я также мог бы использовать его для подсчета запросов в секунду, передавая хвост из журнала доступа.

linux performance digidigo
источник
1
stackoverflow.com/questions/2754470/…
Daniel t.
Я ищу что-то более общее, полезное, к чему относится этот вопрос.
Digidigo

Ответы:

2 
watch -n 3 "wc -l logfile"

справочная страница

watch - периодически запускать программу, отображая вывод в полноэкранном режиме. По умолчанию программа запускается каждые 2 секунды; используйте -n или --interval, чтобы указать другой интервал.

Nim
источник
45

pvэто ваша команда! P фе V iewer печатает статистику о прохождении данных через него, и может работать в любом месте трубопровода, так как это трубы стандартного ввода непосредственно через стандартный вывод. Например:

tail -f /var/log/nginx/access.log | pv --line-mode --rate > /dev/null

Команда pvвыводит в stderr текущее количество строк в секунду (по умолчанию - байты в секунду), что для данного конкретного источника данных (файл журнала по умолчанию Nginx) соответствует входящим веб-запросам в секунду. Я забочусь только о счетах, так что я в трубу /dev/null. Есть также варианты, такие как:

  • -b (общее количество строк),
  • --average-rate (средняя скорость с начала), и
  • --timer (отслеживает, как долго труба идет).

Если вы не скажете --line-mode, он будет считать байты, что, вероятно, не то, что вы хотите для журналов сервера, но может быть удобно в другом месте.

Последнее замечание: ... | pv -lb > file.txtочень похоже ... | tee file.txt | awk '{printf "\r%lu", NR}', что также удобно для подсчета строк, но pvвызов намного короче, хотя вывод не такой захватывающий - pvобновляется каждую секунду по умолчанию, в то время как эта awkкоманда обновляется непрерывно.

chbrown
источник
Можно ли получить только одно значение из PV? Мне нужно среднее значение за период времени для целей мониторинга. Поэтому мне нужно присвоить значение переменной.
Sonique
@ Sonique - это клочок, потому что это не то, pvдля чего он создан (я бы достиг этого на awkвашем месте), но, конечно, это возможно. Предположим twilight stream --timeout 5, это команда, которая в течение 5 секунд будет выполнять выборку из спритцера Twitter, а затем завершать работу RATE="$(twilight stream --timeout 5 | pv --line-mode --rate --force 2>&1 1>/dev/null | tr -s '\r\n' '\n' | tail -1)", а затем echo $RATEвыдает что-то вроде «[40,8 / s]» (обратите внимание на дополнительный --forceфлаг, поскольку pvs stderrбольше не является TTY).
февраля
Кажется, не работает для меня надежно для всех программ; удаление > /dev/nullпоказывает, что выходные данные теперь «блочные» и больше не передаются плавно. Возможно, unbufferэто необходимо для некоторых производящих программ, чтобы они не переключались на выходную буферизацию блоков, когда обнаруживали, что они передаются по каналу?
nh2
13

Может стоит попробовать logtop?

tail -f foobar.log |logtop
klocek
источник
Это вершина журнала, на которую вы ссылаетесь? github.com/JulienPalard/logtop
digidigo
Да, если вы используете debian, в хранилище пакетов
package.debian.org/wheezy/logtop
черт, я думаю, что это то, что мне нужно, но я не смог заставить его скомпилировать в CentOs
digidigo
1 
watch -n 5 "mysqladmin status | awk -F'  ' '{ print \$NF }'"
кванты
источник
Я не мог заставить это работать. Вы уверены в синтаксисе?
Digidigo
Какую ошибку вы получаете? Вы настроили ~/.my.cnfдля запуска mysqladminбез запроса пароля?
кванты