Использование grep против awk

Для захвата конкретного шаблона awkи grepможет быть использован. Почему мы должны использовать один над другим? Что быстрее и почему?

Если бы у меня был файл журнала, и я хотел получить определенный шаблон, я мог бы сделать одно из следующего

awk '/pattern/' /var/log/messages

или

grep 'pattern' /var/log/messages

Я не делал никаких тестов, поэтому я бы не знал. Может кто-нибудь уточнить это? Приятно знать внутреннюю работу этих двух инструментов.

grep скорее всего будет быстрее:

# time awk '/USAGE/' imapd.log.1 | wc -l
73832

real    0m2.756s
user    0m2.740s
sys     0m0.020s

# time grep 'USAGE' imapd.log.1 | wc -l
73832

real    0m0.110s
user    0m0.100s
sys     0m0.030s

awk - интерпретируемый язык программирования, где grep - это скомпилированная программа c-кода (которая дополнительно оптимизирована для поиска шаблонов в файлах).

(Примечание: я выполнил обе команды дважды, чтобы кэширование не могло исказить результаты)

Подробнее о переводимых языках в Википедии.

Как правильно заметил Стефан в комментариях, ваш пробег может отличаться из-за использования используемых вами grep и awk, операционной системы и набора символов, который вы обрабатываете.

Используйте самый конкретный и выразительный инструмент. Инструмент, который лучше всего подходит для вашего случая использования, вероятно, будет самым быстрым.

Как грубое руководство:

• поиск строк, соответствующих подстроке или регулярному выражению? Используйте grep.
• выбрать определенные столбцы из файла с разделителями? Используйте вырезать.
• выполнение подстановок на основе шаблонов или ... другие вещи, которые может разумно делать sed? Используйте сед.
• нужна какая-то комбинация вышеуказанных 3, или форматирование printf, или циклы и ветви общего назначения? Используйте awk.

Когда поиск только по строкам, а скорость имеет значение, вы должны почти всегда использовать grep. Это на несколько порядков быстрее, чем awkкогда дело доходит до грубого поиска.

source Различия в функциональности и производительности sed, awk и других утилит Unix.

UTILITY    OPERATION TYPE      EXECUTION TIME     CHARACTERS PROCESSED PER SECOND
                               (10 ITERATIONS)
-------    --------------      ---------------    -------------------------------
grep       search only         41 sec.            489.3 million
sed        search & replace    4 min. 4 sec.      82.1 million
awk        search & replace    4 min. 46 sec.     69.8 million
Python     search & replace    4 min. 50 sec.     69.0 million
PHP        search & replace    15 min. 44 sec.    21.2 million

Хотя я согласен, что в теории grepдолжно быть быстрее, чем awkна практике, YMMV, так как это во многом зависит от используемой вами реализации.

здесь сравниваются grep и awk busybox 1.20.0, GNU grep 2.14, mawk 1.3.3, GNU awk 4.0.1 в Debian / Linux 7.0 amd64 (с glibc 2.17) в языке UTF-8 на 240-мегабайтном файле из 2,5-миллиметровых строк ASCII-только символы.

$ time busybox grep error error | wc -l
331003
busybox grep error error  8.31s user 0.12s system 99% cpu 8.450 total
wc -l  0.07s user 0.11s system 2% cpu 8.448 total
$ time  busybox awk /error/ error | wc -l
331003
busybox awk /error/ error  2.39s user 0.84s system 98% cpu 3.265 total
wc -l  0.12s user 1.23s system 41% cpu 3.264 total
$ time  grep error error | wc -l
331003
grep error error  0.80s user 0.10s system 99% cpu 0.914 total
wc -l  0.00s user 0.11s system 12% cpu 0.913 total
$ time mawk /error/ error | wc -l
330803
mawk /error/ error  0.54s user 0.13s system 91% cpu 0.732 total
wc -l  0.03s user 0.08s system 14% cpu 0.731 total
$ time gawk /error/ error | wc -l
331003
gawk /error/ error  1.37s user 0.12s system 99% cpu 1.494 total
wc -l  0.04s user 0.07s system 7% cpu 1.492 total
$ time 

В локали C только GNU grep получает значительное ускорение и становится быстрее, чем mawk.

Набор данных, тип регулярного выражения также может иметь большое значение. Для регулярных выражений, awkследует сравнить , grep -Eкак awkрегэксп «S являются расширенными УЭ.

Для этого набора данных awkможет быть быстрее, чем grepв системах на основе busybox, где mawkпо умолчанию awkиспользуется стандарт, а языковой стандарт по умолчанию - на основе UTF-8 (IIRC, как это было в Ubuntu).

Короче говоря, grepделает только одну вещь, как и многие другие инструменты UNIX, и это соответствует линии с данным шаблоном, и это делает это хорошо. С другой стороны, awkэто более сложный инструмент, так как это полный язык программирования, определенный стандартом POSIX, с типичными функциями, такими как переменные, массивы, выражения, функции или операторы управления для сканирования и обработки паттернов.

На мой взгляд, это зависит от реализации того, как оба инструмента работают в случае сопоставления с образцом, и от размера некоторого ввода, который вы хотите обработать. Я ожидаю, что grep обычно более эффективен, чем awk, поскольку он выполняет только сопоставление. Но вы не можете написать с помощью grep простой код для выполнения более сложных задач, таких как дальнейшая обработка сопоставленных записей, вычисление или печать результатов без использования других инструментов.