Какой самый быстрый способ переместить миллион изображений из одного каталога в другой в Linux?

14

У меня есть миллион изображений, занимающих 30 ГБ дискового пространства, которые необходимо переместить из одного локального каталога в другой локальный каталог.

Какой самый эффективный способ сделать это? Используя mv? Используя cp? Используя rsync? Что-то другое?

Мне нужно взять это:

/path/to/old-img-dir/*
                     00000000.jpg
                     --------.jpg  ## nearly 1M of them! ##
                     ZZZZZZZZ.jpg

и переместить их сюда:

/path/to/new/img/dir/
Райан
источник
5
Я не думаю, что с точки mvзрения производительности вы сможете победить , если исходный и целевой каталоги находятся в одной файловой системе.
Фредерик Хамиди

Ответы:

26

rsync было бы плохим выбором, потому что он выполняет большую часть клиент-серверной работы, которая учитывает как локальные, так и удаленные системы.

mvэто, наверное, лучший выбор. Если возможно, вы должны попробовать, mv directory_old directory_newа не mv directory_old/* directory_new/. Таким образом, вы перемещаете одну вещь вместо миллиона вещей.

Ричард
источник
6
+1 за совет по перемещению каталогов вместо файлов.
Бывший Умбрис
4
Кроме того, расширение подстановочного знака, вероятно, сломает максимальные аргументы, поддерживаемые, mvесли мы говорим о миллионах.
Slhck
6
rsync прекрасно справляется с передачей на локальный носитель. Он вызывает такие вещи, как --whole-file (исключая реализацию алгоритма delta xfer) и предотвращает другие вещи, такие как --compression, которые не имеют смысла при локальной передаче. Если каталоги находятся в разных файловых системах, mv не обеспечит никакой производительности. Если они действительно находятся в одной файловой системе, то просто 'mv' каталоги, как сказали эти люди.
UtahJarhead
Если изображений много, использование подстановочного знака простой оболочки приведет к переполнению максимальной командной строки.
Рауль Салинас-Монтеагудо
1
При перемещении между дисками все данные будут перемещаться. На том же диске mvпросто обновляет информацию об mv directory_old directory_newmv directory_old/* directory_new
узлах,
14
find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/ 
  • Это не переполнит расширение аргумента.
  • Вы можете указать расширение файла, если хотите. (-имя ...)
  • find -print0с xargs -0позволяет использовать пробелы в именах.
  • xargs -rне будет работать, mvесли нет чего-то для перемещения. ( mvбудет жаловаться, если исходные файлы не указаны).
  • Синтаксис mv -tпозволяет указать сначала место назначения, а затем исходные файлы, необходимые для xargs.
  • Перемещение всего каталога, конечно, происходит намного быстрее, поскольку оно происходит за постоянное время независимо от количества файлов, содержащихся в нем, но:
    • исходный каталог исчезнет на долю времени, и это может создать вам проблемы;
    • если процесс использует текущий каталог в качестве выходного каталога (в отличие от всегда ссылающегося на полный путь из неподвижного местоположения), вам придется перезапустить его. (как вы делаете с ротацией журнала ).

Кстати, я бы спросил себя, действительно ли мне нужно перемещать такое большое количество файлов одновременно. Пакетная обработка переоценена. Я стараюсь не накапливать огромное количество работы, если могу обрабатывать вещи в тот момент, когда они генерируются.

Рауль Салинас-Монтеагудо
источник
Это работает достаточно хорошо для перемещения файлов между файловыми системами на одном сервере. Достаточно хорошо, что я не стал искать решение в rsync. Конечно, это заняло час или два, но это работает. Стоит отметить, что если вы дадите имя каталога, вместо "." - обязательно используйте завершающий слеш в команде find, иначе каталог будет воссоздан в месте назначения команды mv.
Speeddymon
7

Если два каталога находятся в одной файловой системе, используйте mvкаталог DIRECTORY, а не содержимое каталога.

Если они находятся в двух разных файловых системах, используйте rsync:

rsync -av /source/directory/ /destination

Обратите внимание на трейлинг /на источнике. Это означает, что он будет копировать СОДЕРЖАНИЕ каталога, а не сам каталог. Если вы /выключите, он все равно будет копировать файлы, но они будут находиться в каталоге с именем /destination/directory. С / файлы просто будут в/destination

rsyncсохранит право собственности на файл, если вы запустите его от имени пользователя root или если файлы принадлежат вам. Он также будет поддерживать mtimeкаждого отдельного файла.

UtahJarhead
источник
2
Для копирования большой папки с одного жесткого диска на другой жесткий диск, rsyncкажется, бегает кругами mv. Спасибо за совет!
Лео-маниакальный
2
tar cf - dir1 | (cd dir2; tar xf -)

tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )"

Когда вы используете 'cp', каждый файл делает open-read-close-open-write-close. Tar использует различные процессы для чтения и записи, а также несколько шагов для одновременной работы с несколькими файлами. Даже на одном процессоре многопоточные приложения работают быстрее.

maholt
источник
2
Хотя это может ответить на вопрос, было бы лучше, если бы вы могли объяснить, почему это так.
DavidPostill
1
Если они находятся на локальном компьютере, скорее всего, они находятся в одной файловой системе. При использовании tar c | tar xвы получаете стоимость O (total_size) вместо O (file_count).
Рауль Салинас-Монтеагудо
1

Так как directory_old и directory_new находятся в одной файловой системе, вы можете использовать ее cp -lвместо mvопции. cp -lсоздаст жесткие ссылки на оригинальные файлы. Когда вы закончили с 'move' и удовлетворены результатом, вы можете удалить эти файлы из directory_old. с точки зрения скорости он будет таким же, как «mv», когда вы сначала создаете ссылки, а затем удаляете исходные. Но этот подход позволит вам начать с самого начала, если это имеет смысл

саржа
источник
0

Это зависит (тм). Если ваша файловая система копируется при записи, то копирование ( cpили rsync, например) должно быть сравнимо с перемещением. Но для большинства распространенных случаев move ( mv) будет самым быстрым, поскольку он может просто переключаться между фрагментами данных, которые описывают, где находится файл (примечание: это слишком упрощено).

Итак, на вашей обычной установке Linux я бы пошел mv.

РЕДАКТИРОВАТЬ: @ Фредерик Хамиди имеет хорошее замечание в комментариях: это верно только в том случае, если они оба находятся в одной файловой системе и на диске. В противном случае данные будут скопированы в любом случае.

carlpett
источник
0

Чтобы скопировать как минимум ~ 10 тыс. Файлов (без каталогов), cp пожаловался:

невозможно выполнить / bin / cp: список аргументов слишком длинный

Лучший вариант - Rsync:

rsync исходная цель

И это было сделано очень быстро!

Нико
источник
0

Если у вас есть свободное место, заархивируйте их в один файл .tar (без сжатия быстрее), а затем переместите этот файл и разархивируйте его.

эндолиты
источник
0

Характер места назначения будет определять наиболее эффективный способ решения этой задачи. Давайте предположим , что вы на локальную систему, ваше PWDэто /прямо сейчас. и /aсодержит миллионы изображений. Наша задача - переместить все изображения /b, сохраняя при этом всю структуру подкаталогов. Давайте также предположим , /aи /bявляются точки монтирования для двух различных разделов, каждый на локально подключенный диск. Мы хотели бы сделать эту задачу с брезентом. Это может занять некоторое время, поэтому убедитесь , что вы используете screen, tmuxили вы выполняете это как фоновый процесс.

tar -C /a -cf . | tar -C /b -xf -

Это будет копировать все файлы и каталоги в /aк /b, так что теперь вам нужно очистить , /aкак только вы убедитесь , что он выполнен без ошибок.

Дж. М. Беккер
источник