Перемещение миллионов файлов в другой каталог с конкретными именами

У меня есть миллионы файлов со следующей номенклатурой на компьютере с Linux:

1559704165_a1ac6f55fef555ee.jpg

Первые 10 цифр являются метками времени, а те, за которыми _следует символ a, являются конкретными идентификаторами. Я хочу переместить все файлы, соответствующие конкретным идентификаторам имен файлов, в другую папку.

Я попробовал это в каталоге с файлами

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Однако я получаю сообщение об ошибке:

bash 1559704165_a1ac6f55fef555ee.jpg: command not found

Когда я пытался, mv ??????????_a1ac*.jpg я получаю список аргументов слишком длинная ошибка. У меня есть как минимум 15 различных шаблонов имен файлов. Как мне их переместить.

Вы должны использовать:

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' \
-exec mv -t destination "{}" +

Это maxdepth 1значит, что вы хотите искать в текущем каталоге никаких подкаталогов.

type f значит найди только файлы.

name '??????????_a1ac*.jpg' шаблон, соответствующий файлу, который вы ищете.

mv -t destination "{}" +означает переместить соответствующие файлы в место назначения. Здесь +добавляет новые сопоставленные файлы к предыдущему, например:

mv -t dest a b c d

Здесь abcd - это разные файлы.

Ваша команда,

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Трубы список всех файлов ко всем файлам!

find . -maxdepth 1 -type f -name `*_a1ac*.jpg` -print0 |\
xargs  -0 -r mv -t "/home/ubuntu/ntest"

сделает свое дело.

Ты очень близко. Вы должны использовать -nameопцию для find. И не забудьте процитировать шаблон.

Так

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' |xargs mv -t "/home/ubuntu/ntest"

Не так «хорошо», как findрешения, но другое правильное решение - сделать mvкоманды более детализированными.

Это делает 4096 перемещений, с меньшим количеством файлов, перемещаемых за mvоперацию.

FILEPAT=a1ac
for i in $(seq $((0x000)) $((0xfff))); 
do 
   H=$(printf '%x\n' $i)
   mv 1559704165_${FILEPAT}${H}*.jpg /home/ubuntu/ntest
done

Если вы хотите переместить файлы на той же хост-системе, что, как я полагаю, вы делаете с вашей mv, rsyncможет быть более быстрым вариантом:

rsync -av --inplace -W /source/??????????_a1ac*.jpg /home/ubuntu/ntest/

--inplaceи -Wнастроены на ускорение процесса.

Если это приведет к слишком длинной ошибке в другом списке аргументов, вы можете передать спискиrsync

Составьте список с помощью find, например

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' > /tmp/my_image_list.txt

и дать это rsync

rsync -av --inplace -W --files-from=/tmp/my_image_list.txt /path/to/files /home/ubuntu/ntest/

Источник здесь /path/to/files, потому что rsyncбудет относиться к списку, который вы даете, относительно вашего источника.

Дело в том, что: rsyncбыстрее, чем mvесли файлы не находятся в одной файловой системе .