Элегантный способ поиска файлов UTF-8 с помощью спецификации?

В целях отладки мне нужно рекурсивно искать в каталоге все файлы, которые начинаются с отметки порядка байтов (BOM) UTF-8. Мое текущее решение - это простой сценарий оболочки:

find -type f |
while read file
do
    if [ "`head -c 3 -- "$file"`" == $'\xef\xbb\xbf' ]
    then
        echo "found BOM in: $file"
    fi
done

Или, если вы предпочитаете короткие, нечитаемые однострочные строки:

find -type f|while read file;do [ "`head -c3 -- "$file"`" == $'\xef\xbb\xbf' ] && echo "found BOM in: $file";done

Это не работает с именами файлов, которые содержат разрыв строки, но таких файлов в любом случае ожидать не следует.

Есть ли более короткое или элегантное решение?

Есть ли какие-нибудь интересные текстовые редакторы или макросы для текстовых редакторов?

Как насчет этой простой команды, которая не просто находит, но очищает неприятную спецификацию? :)

find . -type f -exec sed '1s/^\xEF\xBB\xBF//' -i {} \;

Люблю "находить" :)

Предупреждение. Приведенное выше приведет к изменению двоичных файлов, содержащих эти три символа.

Если вы хотите просто показать файлы спецификации, используйте этот:

grep -rl $'\xEF\xBB\xBF' .

Лучший и самый простой способ сделать это в Windows:

Total Commander → перейдите в корневой каталог проекта → найдите файлы ( Alt+ F7) → типы файлов *. * → Найдите текст «EF BB BF» → установите флажок «Hex» → поиск

И вы получите список :)

find . -type f -print0 | xargs -0r awk '
    /^\xEF\xBB\xBF/ {print FILENAME}
    {nextfile}'

Большинство приведенных выше решений проверяют не только первую строку файла, даже если некоторые (например, решение Маркуса) затем фильтруют результаты. Это решение проверяет только первую строку каждого файла, поэтому оно должно быть немного быстрее.

Если вы принимаете некоторые ложные срабатывания (в случае, если есть нетекстовые файлы или, что маловероятно, в середине файла есть ZWNBSP), вы можете использовать grep:

fgrep -rl `echo -ne '\xef\xbb\xbf'` .

Я бы использовал что-то вроде:

grep -orHbm1 "^`echo -ne '\xef\xbb\xbf'`" . | sed '/:0:/!d;s/:0:.*//'

Это гарантирует, что спецификация будет начинаться с первого байта файла.

Вы можете использовать их grepдля поиска и Perl для их удаления следующим образом:

grep -rl $'\xEF\xBB\xBF' . | xargs perl -i -pe 's{\xEF\xBB\xBF}{}'

Для пользователя Windows см. Это (хороший сценарий PHP для поиска BOMв вашем проекте).

Излишним решением для этого является phptags(не viинструмент с таким же именем), который специально ищет сценарии PHP:

phptags --warn ./

Будет выводиться что-то вроде:

./invalid.php: TRAILING whitespace ("?>\n")
./invalid.php: UTF-8 BOM alone ("\xEF\xBB\xBF")

И --whitespaceрежим автоматически исправит такие проблемы (рекурсивно, но утверждает, что он только переписывает скрипты .php.)

find -type f -print0 | xargs -0 grep -l `printf '^\xef\xbb\xbf'` | sed 's/^/found BOM in: /'

• find -print0 помещает нуль \ 0 между каждым именем файла вместо использования новых строк
• xargs -0 ожидает аргументы, разделенные нулем, вместо разделенных строк
• grep -l перечисляет файлы, соответствующие регулярному выражению
• Регулярное выражение ^\xeff\xbb\xbfне совсем корректно, поскольку оно будет соответствовать файлам UTF-8 без спецификации, если в начале строки у них есть пробелы нулевой ширины.

Я использовал это для исправления только файлов JavaScript:

find . -iname *.js -type f -exec sed 's/^\xEF\xBB\xBF//' -i.bak {} \; -exec rm {}.bak \;

Если вы ищете файлы UTF, команда file работает. Он сообщит вам, какова кодировка файла. Если там есть какие-либо символы, отличные от ASCII, он будет предлагать UTF.

file *.php | grep UTF

Однако это не будет работать рекурсивно. Вы, вероятно, можете настроить какую-нибудь причудливую команду, чтобы сделать ее рекурсивной, но я просто искал каждый уровень индивидуально, как показано ниже, пока у меня не закончились уровни.

file */*.php | grep UTF