Самый быстрый способ определить, имеют ли два файла одинаковое содержимое в Unix / Linux?

У меня есть сценарий оболочки, в котором мне нужно проверить, содержат ли два файла одинаковые данные или нет. Я делаю это для большого количества файлов, и в моем скрипте diffкоманда кажется узким местом производительности.

Вот строка:

diff -q $dst $new > /dev/null

if ($status) then ...

Может ли быть более быстрый способ сравнения файлов, возможно, собственный алгоритм вместо стандартного diff?

Я считаю, cmpчто остановится на первой разнице байтов:

cmp --silent $old $new || echo "files are different"

Мне нравится @Alex Howansky для этого использовал cmp --silent. Но мне нужен как положительный, так и отрицательный ответ, поэтому я использую:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

Затем я могу запустить это в терминале или с помощью ssh для проверки файлов на постоянный файл.

Почему вы не получаете хэш содержимого обоих файлов?

Попробуйте этот скрипт, назовите его, например, script.sh, а затем запустите его следующим образом: script.sh file1.txt file2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

Поскольку я отстой и у меня недостаточно очков репутации, я не могу добавить этот комментарий в качестве комментария.

Но, если вы собираетесь использовать cmpкоманду (и не хотите / не хотите быть многословным), вы можете просто получить статус выхода. По cmpсправочной странице:

Если ФАЙЛ '-' или отсутствует, прочитайте стандартный ввод. Состояние выхода равно 0, если входы одинаковы, 1, если отличается, 2, если проблема.

Итак, вы можете сделать что-то вроде:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi

Для файлов, которые не отличаются, любой метод потребует полностью прочитать оба файла, даже если чтение было в прошлом.

Альтернативы нет. Поэтому создание хэшей или контрольных сумм в определенный момент времени требует чтения всего файла. Большие файлы занимают время.

Извлечение метаданных файла происходит намного быстрее, чем чтение большого файла.

Итак, есть ли какие-нибудь метаданные файла, которые вы можете использовать, чтобы установить, что файлы разные? Размер файла ? или даже результаты команды file, которая просто читает небольшую часть файла?

Фрагмент кода примера размера файла:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

Если файлы одинакового размера, вы застряли с полным чтением файлов.

Попробуйте также использовать команду cksum:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

Команда cksum выведет количество байтов файла. Смотрите "man cksum".

Проведя некоторое тестирование с Raspberry Pi 3B + (я использую файловую систему с наложением, и мне нужно периодически выполнять синхронизацию), я провел собственное сравнение для diff -q и cmp -s; обратите внимание, что это журнал из / dev / shm, поэтому скорость доступа к диску не проблема:

[root@mypi shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[root@mypi shm]# pico /root/rwbscripts/utils/squish.sh

Я запускал его пару раз. У cmp -s было несколько меньше времени на тестовом боксе, который я использовал. Так что, если вы хотите использовать cmp -s для работы между двумя файлами ....

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"