Выявление и удаление нулевых символов в UNIX

Question 1

У меня есть текстовый файл, содержащий нежелательные нулевые символы (ASCII NUL, \0). Когда я пытаюсь просмотреть это, viя вижу ^@символы, чередующиеся в обычном тексте. Как я могу:

Определите, какие строки в файле содержат нулевые символы? Я пробовал использовать grepping для \0и \x0, но это не сработало.
Удалить нулевые символы? Запуск stringsфайла очистил его, но мне просто интересно, лучший ли это способ?

Question 2

Я бы использовал tr:

tr < file-with-nulls -d '\000' > file-without-nulls

Если вам интересно, работает ли перенаправление ввода в середине аргументов команды, то да. Большинство снарядов будет распознавать и бороться с Перенаправление ввода / вывода ( <, >, ...) где - нибудь в командной строке, на самом деле.

Question 3

Используйте следующую команду sed для удаления нулевых символов в файле.

sed -i 's/\x0//g' null.txt

это решение редактирует файл на месте, что важно, если файл все еще используется. передача -i'ext 'создает резервную копию исходного файла с добавленным суффиксом' ext '.

Question 4

Большое количество нежелательных символов NUL, скажем, по одному через каждый байт, указывает на то, что файл закодирован в UTF-16 и что вы должны использовать его iconvдля преобразования в UTF-8.

Question 5

Я обнаружил следующее, которое выводит, какие строки, если таковые имеются, имеют нулевые символы:

perl -ne '/\000/ and print;' file-with-nulls

Кроме того, восьмеричный дамп может сказать вам, есть ли нули:

od file-with-nulls | grep ' 000'

Question 6

Если строки в файле заканчиваются на \ r \ n \ 000, то работает удаление \ n \ 000, а затем замена \ r на \ n.

tr -d '\n\000' <infile | tr '\r' '\n' >outfile

Question 7

Вот пример того, как удалить символы NULL с помощью ex(на месте):

ex -s +"%s/\%x00//g" -cwq nulls.txt

и для нескольких файлов:

ex -s +'bufdo!%s/\%x00//g' -cxa *.txt

^{Для рекурсивности вы можете использовать опцию подстановки **/*.txt (если она поддерживается вашей оболочкой).}

Полезно для написания сценариев, так как sed его -iпараметр является нестандартным расширением BSD.

См. Также: Как проверить, является ли файл двоичным файлом, и прочитать все файлы, которых нет?

Question 8

Я использовал:

recode UTF-16..UTF-8 <filename>

чтобы избавиться от нулей в файле.

Question 9

Я столкнулся с той же ошибкой:

import codecs as cd
f=cd.open(filePath,'r','ISO-8859-1')

Я решил проблему, изменив кодировку на utf-16

f=cd.open(filePath,'r','utf-16')

Answer 1

У меня есть текстовый файл, содержащий нежелательные нулевые символы (ASCII NUL, \0). Когда я пытаюсь просмотреть это, viя вижу ^@символы, чередующиеся в обычном тексте. Как я могу:

Определите, какие строки в файле содержат нулевые символы? Я пробовал использовать grepping для \0и \x0, но это не сработало.
Удалить нулевые символы? Запуск stringsфайла очистил его, но мне просто интересно, лучший ли это способ?

Answer 2

1

Этот вопрос, вероятно, принадлежит SuperUser.com

Оливье Лалонд

Answer 3

2

Фактически, этот вопрос находится на superuser.com: superuser.com/questions/75130/how-to-remove-ths-symbol-with-vim

jrb

Answer 4

132

Я бы использовал tr:

tr < file-with-nulls -d '\000' > file-without-nulls

Если вам интересно, работает ли перенаправление ввода в середине аргументов команды, то да. Большинство снарядов будет распознавать и бороться с Перенаправление ввода / вывода ( <, >, ...) где - нибудь в командной строке, на самом деле.

Заостренный
источник

и «файл сравнения с файлом без нулей» должен показать мне, в каких строках есть нулевые символы? Это приносит намного больше, чем ожидалось.

dogbane

10

На самом деле, я считаю, что это должно быть, tr -d '\000' < file-with-nulls > file-without-nullsпоскольку <это часть функциональности оболочки оболочки, а не tr.

Mikael S

9

Большинство оболочек фактически распознают и обрабатывают <или> в любом месте строки аргумента. Меня тоже удивило.

pra

1

+1 За использование перенаправления ввода вместо cat |. Прекрасное, чистое решение, и оно решило мою проблему.

Krzysztof Jabłoński

4

@Pointy '\ 000' используется вместо '\ 0' в спецификации POSIX opengroup для tr. Это хорошая причина предпочесть его

Гарольд Фишер

Answer 5

и «файл сравнения с файлом без нулей» должен показать мне, в каких строках есть нулевые символы? Это приносит намного больше, чем ожидалось.

dogbane

Answer 6

10

На самом деле, я считаю, что это должно быть, tr -d '\000' < file-with-nulls > file-without-nullsпоскольку <это часть функциональности оболочки оболочки, а не tr.

Mikael S

Answer 7

9

Большинство оболочек фактически распознают и обрабатывают <или> в любом месте строки аргумента. Меня тоже удивило.

pra

Answer 8

1

+1 За использование перенаправления ввода вместо cat |. Прекрасное, чистое решение, и оно решило мою проблему.

Krzysztof Jabłoński

Answer 9

4

@Pointy '\ 000' используется вместо '\ 0' в спецификации POSIX opengroup для tr. Это хорошая причина предпочесть его

Гарольд Фишер

Answer 10

68

Используйте следующую команду sed для удаления нулевых символов в файле.

sed -i 's/\x0//g' null.txt

это решение редактирует файл на месте, что важно, если файл все еще используется. передача -i'ext 'создает резервную копию исходного файла с добавленным суффиксом' ext '.

rekha_sri
источник

6

Примечание. Во FreeBSD (и я считаю, что также в Mac OS X) в следующем аргументе sed -i требуется расширение, но оно может быть пустым. В этих системах, добавить '', как: sed -i '' 's/\x0//g "$FILE".

Тим

1

Это на порядок быстрее, чем trу меня

диаходелический

Для меня, используя Git для Windows и $ sed --version-> sed (GNU sed) 4.7, мне пришлось использовать следующий вызов, чтобы получить файл резервной копии с именем example.csv.bak:sed -i.bak 's/\x0//g' example.csv

Эндрю Китон,

1

@ TimČas, ты отлично справился, только что пропустил одно ', поэтому он должен быть sed -i' '' s / \ x0 // g 'some_file.xml

Дарко

@ Дарко Так я и сделал. Ой.

Тим Час

Answer 11

6

Примечание. Во FreeBSD (и я считаю, что также в Mac OS X) в следующем аргументе sed -i требуется расширение, но оно может быть пустым. В этих системах, добавить '', как: sed -i '' 's/\x0//g "$FILE".

Тим

Answer 12

1

Это на порядок быстрее, чем trу меня

диаходелический

Answer 13

Для меня, используя Git для Windows и $ sed --version-> sed (GNU sed) 4.7, мне пришлось использовать следующий вызов, чтобы получить файл резервной копии с именем example.csv.bak:sed -i.bak 's/\x0//g' example.csv

Эндрю Китон,

Answer 14

1

@ TimČas, ты отлично справился, только что пропустил одно ', поэтому он должен быть sed -i' '' s / \ x0 // g 'some_file.xml

Дарко

Answer 15

@ Дарко Так я и сделал. Ой.

Тим Час

Answer 16

22

Большое количество нежелательных символов NUL, скажем, по одному через каждый байт, указывает на то, что файл закодирован в UTF-16 и что вы должны использовать его iconvдля преобразования в UTF-8.

Игнасио Васкес-Абрамс
источник

1

Во время записи моего приложения у меня закончилось место на диске. Это приводит к этим персонажам.

dogbane

Например, он работает с помощью этой команды: iconv -f UTF-16 -t UTF-8 file.

djule5

Answer 17

1

Во время записи моего приложения у меня закончилось место на диске. Это приводит к этим персонажам.

dogbane

Answer 18

Например, он работает с помощью этой команды: iconv -f UTF-16 -t UTF-8 file.

djule5

Answer 19

Я обнаружил следующее, которое выводит, какие строки, если таковые имеются, имеют нулевые символы:

perl -ne '/\000/ and print;' file-with-nulls

Кроме того, восьмеричный дамп может сказать вам, есть ли нули:

od file-with-nulls | grep ' 000'

Answer 20

5

Если строки в файле заканчиваются на \ r \ n \ 000, то работает удаление \ n \ 000, а затем замена \ r на \ n.

tr -d '\n\000' <infile | tr '\r' '\n' >outfile

wwmbes
источник

PS. Если вы оказались в оболочке Windows DOS, вы можете получить версии команд Unix для GNU / win32 с Sourceforge.net. Я использую их постоянно. Проверьте "od" команду восьмеричного дампа для анализа

содержимого

Answer 21

PS. Если вы оказались в оболочке Windows DOS, вы можете получить версии команд Unix для GNU / win32 с Sourceforge.net. Я использую их постоянно. Проверьте "od" команду восьмеричного дампа для анализа

содержимого

Answer 22

Вот пример того, как удалить символы NULL с помощью ex(на месте):

ex -s +"%s/\%x00//g" -cwq nulls.txt

и для нескольких файлов:

ex -s +'bufdo!%s/\%x00//g' -cxa *.txt

^{Для рекурсивности вы можете использовать опцию подстановки **/*.txt (если она поддерживается вашей оболочкой).}

Полезно для написания сценариев, так как sed его -iпараметр является нестандартным расширением BSD.

См. Также: Как проверить, является ли файл двоичным файлом, и прочитать все файлы, которых нет?

Answer 23

1

Я использовал:

recode UTF-16..UTF-8 <filename>

чтобы избавиться от нулей в файле.

logisec
источник

Answer 24

Я столкнулся с той же ошибкой:

import codecs as cd
f=cd.open(filePath,'r','ISO-8859-1')

Я решил проблему, изменив кодировку на utf-16

f=cd.open(filePath,'r','utf-16')

Выявление и удаление нулевых символов в UNIX

Ответы: