Как выполнить grep для текстового файла, содержащего некоторые двоичные данные?

grep возвращает

Двоичный файл test.log соответствует

Например

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Я хочу, чтобы в результате были показаны строки 1 и 3 (всего две строки).

Можно ли использовать trпреобразование непечатаемых данных в читаемые данные, чтобы grep снова работал?

Вы можете запустить файл данных cat -v, например

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

который затем может быть подвергнут дальнейшей постобработке для удаления мусора; это наиболее аналогично вашему запросу об использовании trдля задачи.

grep -a

Нет ничего проще.

Один из способов - просто обрабатывать двоичные файлы как текст, grep --textно это вполне может привести к отправке двоичной информации на ваш терминал. Это не очень хорошая идея, если вы используете терминал, который интерпретирует выходной поток (например, VT / DEC или многие другие).

Кроме того, вы можете отправить свой файл trс помощью следующей команды:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Это превратит все, что меньше пробела (кроме новой строки) и больше 126, в .символ, оставив только печатные формы.

Если вы хотите, чтобы каждый "недопустимый" символ был заменен другим, вы можете использовать что-то вроде следующей программы на C, классического стандартного входного фильтра:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Это даст вам {{NN}}, где NNнаходится шестнадцатеричный код символа. Вы можете просто настроить printfлюбой стиль вывода, который хотите.

Вы можете увидеть эту программу в действии здесь, где она:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Вы можете использовать "строки" для извлечения строк из двоичного файла, например

strings binary.file | grep foo

Вы можете заставить grep просматривать двоичные файлы с помощью:

grep --binary-files=text

Вы также можете захотеть добавить -o( --only-matching), чтобы не получить кучу бинарной тарабарщины, которая сломает ваш терминал.

Начиная с Grep 2.21, двоичные файлы обрабатываются иначе :

При поиске двоичных данных grep теперь может обрабатывать нетекстовые байты как терминаторы строки. Это может значительно повысить производительность.

Итак, теперь происходит то, что с двоичными данными все нетекстовые байты (включая символы новой строки) обрабатываются как терминаторы строки. Если вы хотите изменить это поведение, вы можете:

• использовать --text. Это гарантирует, что только символы новой строки будут терминаторами строки.

• использовать --null-data. Это гарантирует, что только нулевые байты будут терминаторами строки.

grep -a заставит grep искать и выводить из файла, который grep считает двоичным. grep -a re test.log

Как уже сказал Джеймс Селвакумар, свое grep -aдело. -a или --text заставляет Grep обрабатывать входной поток как текст. См. Страницу руководства http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

пытаться

cat test.log | grep -a somestring

ты можешь сделать

strings test.log | grep -i

это преобразует вывод в виде читаемой строки в grep.

Вы также можете попробовать инструмент Word Extractor . Word Extractor можно использовать с любым файлом на вашем компьютере для отделения строк, содержащих человеческий текст / слова, от двоичного кода (приложения exe, библиотеки DLL).

Вот что я использовал в системе, в которой не была установлена ​​команда "strings"

cat yourfilename | tr -cd "[:print:]"

Это печатает текст и удаляет непечатаемые символы одним махом, в отличие от "cat -v filename", который требует некоторой постобработки для удаления ненужных вещей. Обратите внимание, что некоторые двоичные данные могут быть распечатаны, поэтому между хорошими вещами вы все равно получите тарабарщину. Я думаю, что строки тоже убирают эту тарабарщину, если вы можете это использовать.