Команда оболочки для каталога tar, исключая определенные файлы / папки

Существует ли простая команда / скрипт оболочки, которая поддерживает исключение определенных файлов / папок из архива?

У меня есть каталог, который должен быть заархивирован с подкаталогом, содержащим несколько очень больших файлов, которые мне не нужно резервировать.

Не совсем решения:

Команда tar --exclude=PATTERNсоответствует заданному шаблону и исключает эти файлы, но мне нужно игнорировать определенные файлы и папки (полный путь к файлу), в противном случае допустимые файлы могут быть исключены.

Я также мог бы использовать команду find, чтобы создать список файлов и исключить те, которые я не хочу архивировать, и передать список в tar, но это работает только с небольшим количеством файлов. У меня десятки тысяч.

Я начинаю думать, что единственное решение - создать файл со списком исключаемых файлов / папок, затем использовать rsync --exclude-from=fileдля копирования всех файлов в каталог tmp, а затем использовать tar для архивирования этого каталога.

Кто-нибудь может придумать лучшее / более эффективное решение?

РЕДАКТИРОВАТЬ: решение Чарльза Ма работает хорошо. Главное, что --exclude='./folder' ДОЛЖНО быть в начале команды tar. Полная команда (сначала cd, поэтому резервное копирование относится к этому каталогу):

cd /folder_to_backup
tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

Вы можете иметь несколько опций исключения для tar, так

$ tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

и т. д. будет работать. Убедитесь, что поставили --exclude перед отправителем и пунктом назначения.

Вы можете исключить каталоги с помощью --excludetar.

Если вы хотите заархивировать все, кроме /usrвы можете использовать:

tar -zcvf /all.tgz / --exclude=/usr

В вашем случае возможно что-то вроде

tar -zcvf archive.tgz arc_dir --exclude=dir/ignore_this_dir

Возможные варианты исключения файлов / каталогов из резервной копии с помощью tar:

Исключить файлы, используя несколько шаблонов

tar -czf backup.tar.gz --exclude=PATTERN1 --exclude=PATTERN2 ... /path/to/backup

Исключить файлы, используя исключаемый файл, заполненный списком шаблонов

tar -czf backup.tar.gz -X /path/to/exclude.txt /path/to/backup

Исключите файлы с помощью тегов, поместив файл тегов в любой каталог, который следует пропустить

tar -czf backup.tar.gz --exclude-tag-all=exclude.tag /path/to/backup

старый вопрос с множеством ответов, но я обнаружил, что ни один из них не был достаточно ясен для меня, поэтому я хотел бы добавить свою попытку.

если у вас есть следующая структура

/home/ftp/mysite/

со следующими файлами / папками

/home/ftp/mysite/file1
/home/ftp/mysite/file2
/home/ftp/mysite/file3
/home/ftp/mysite/folder1
/home/ftp/mysite/folder2
/home/ftp/mysite/folder3

Итак, вы хотите создать tar-файл, который содержит все внутри / home / ftp / mysite (чтобы переместить сайт на новый сервер), но file3это просто мусор, и все в нем folder3также не нужно, поэтому мы пропустим эти два.

мы используем формат

tar -czvf <name of tar file> <what to tar> <any excludes>

где c = create, z = zip и v = verbose (вы можете видеть файлы по мере их ввода, полезно, чтобы убедиться, что ни один из исключаемых вами файлов не добавляется). и f = файл.

Итак, моя команда будет выглядеть так

cd /home/ftp/
tar -czvf mysite.tar.gz mysite --exclude='file3' --exclude='folder3'

обратите внимание, что исключенные файлы / папки относятся к корню вашего tar (здесь я пробовал полный путь относительно /, но я не могу заставить это работать).

надеюсь, это поможет кому-то (и мне в следующий раз, когда я погуглю)

Вы можете использовать стандартную «муравьиную нотацию» для исключения относительных каталогов.
Это работает для меня и исключает любые каталоги .git или node_module:

tar -cvf myFile.tar --exclude=**/.git/* --exclude=**/node_modules/*  -T /data/txt/myInputFile.txt 2> /data/txt/myTarLogFile.txt

myInputFile.txt содержит:

/ dev2 / java
/ dev2 / javascript

Я испытал это, по крайней мере, с версией Cygwin tar, которую я использую ("CYGWIN_NT-5.1 1.7.17 (0.262 / 5/3) 2012-10-19 14:39 i686 Cygwin" в Windows XP Home Edition SP3 machine), порядок опций важен.

Пока эта конструкция у меня работала

tar cfvz target.tgz --exclude='<dir1>' --exclude='<dir2>' target_dir

тот не работал

tar cfvz --exclude='<dir1>' --exclude='<dir2>' target.tgz target_dir

Это пока tar --helpраскрывает следующее:

tar [OPTION...] [FILE]

Итак, вторая команда также должна работать, но, похоже, это не так ...

Лучшие ргдс,

Этот шаблон исключения обрабатывает суффикс имени файла, такой как png или mp3, а также имена каталогов, такие как .git и node_modules

tar --exclude={*.png,*.mp3,*.wav,.git,node_modules} -Jcf ${target_tarball}  ${source_dirname}

Для тех, у кого есть проблемы с этим, некоторые версии tar будут работать только без './' в значении exclude.

Tar --version

tar (GNU tar) 1.27.1

Синтаксис команды, которая работает:

tar -czvf ../allfiles-butsome.tar.gz * --exclude=acme/foo

Это не будет работать:

$ tar -czvf ../allfiles-butsome.tar.gz * --exclude=./acme/foo
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude='./acme/foo'
$ tar --exclude=./acme/foo -czvf ../allfiles-butsome.tar.gz *
$ tar --exclude='./acme/foo' -czvf ../allfiles-butsome.tar.gz *
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude=/full/path/acme/foo
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude='/full/path/acme/foo'
$ tar --exclude=/full/path/acme/foo -czvf ../allfiles-butsome.tar.gz *
$ tar --exclude='/full/path/acme/foo' -czvf ../allfiles-butsome.tar.gz *

Я нашел это где-то еще, так что я не буду брать кредит, но это работало лучше, чем любое из решений выше для моих проблем, связанных с Mac (даже если это закрыто):

tar zc --exclude __MACOSX --exclude .DS_Store -f <archive> <source(s)>

Для Mac OSX мне пришлось сделать

tar -zcv --exclude='folder' -f theOutputTarFile.tar folderToTar

Обратите внимание на -fпосле--exclude=

Я согласен, что флаг --exclude является правильным подходом.

$ tar --exclude='./folder_or_file' --exclude='file_pattern' --exclude='fileA'

Слово с предупреждением о побочном эффекте, который я не нашел сразу очевидным: исключение «fileA» в этом примере будет искать «fileA» РЕКУРСИВНО !

Пример: каталог с одним подкаталогом, содержащий файл с тем же именем (data.txt)

data.txt
config.txt
--+dirA
  |  data.txt
  |  config.docx

• При использовании --exclude='data.txt'архива не будет содержать ЯВНО data.txt файл. Это может привести к неожиданным результатам при архивировании сторонних библиотек, таких как каталог node_modules.

• Чтобы избежать этой проблемы, обязательно укажите весь путь, например, --exclude='./dirA/data.txt'

Чтобы избежать возможных 'xargs: Argument list too long'ошибок из-за использования find ... | xargs ...при обработке десятков тысяч файлов, вы можете направить вывод findнепосредственно в tarиспользование find ... -print0 | tar --null ....

# archive a given directory, but exclude various files & directories 
# specified by their full file paths
find "$(pwd -P)" -type d \( -path '/path/to/dir1' -or -path '/path/to/dir2' \) -prune \
   -or -not \( -path '/path/to/file1' -or -path '/path/to/file2' \) -print0 | 
   gnutar --null --no-recursion -czf archive.tar.gz --files-from -
   #bsdtar --null -n -czf archive.tar.gz -T -

Прочитав эту ветку, я провел небольшое тестирование на RHEL 5, и вот мои результаты для отслеживания каталога abc:

Это исключит ошибку каталогов и журналов и всех файлов в каталогах:

tar cvpzf abc.tgz abc/ --exclude='abc/error' --exclude='abc/logs'

Добавление подстановочного знака после исключенного каталога исключит файлы, но сохранит каталоги:

tar cvpzf abc.tgz abc/ --exclude='abc/error/*' --exclude='abc/logs/*'

Используйте команду find в сочетании с опцией tar append (-r). Таким образом, вы можете добавлять файлы в существующий tar за один шаг, вместо двухпроходного решения (создать список файлов, создать tar).

find /dir/dir -prune ... -o etc etc.... -exec tar rvf ~/tarfile.tar {} \;

Вы также можете использовать один из параметров --exclude-tag в зависимости от ваших потребностей:

• --exclude-тег = FILE
• --exclude-теги все = FILE
• --exclude-метка-под = ФАЙЛ

Папка с указанным файлом будет исключена.

Прочитав все эти хорошие ответы для разных версий и решив проблему для себя, я думаю, что есть очень мелкие детали, которые очень важны и редки для общего использования GNU / Linux , которые недостаточно подчеркнуты и заслуживают большего, чем комментарии.

Поэтому я не буду пытаться ответить на вопрос для каждого случая, а вместо этого попытаюсь зарегистрироваться, где искать, когда что-то не работает.

ЭТО ОЧЕНЬ ВАЖНО ДЛЯ УВЕДОМЛЕНИЯ:

1. ПОРЯДОК ВАРИАНТОВ ВАРИАНТОВ: это не то же самое, поместите --exclude до, чем после опции файла и каталогов для резервного копирования. По крайней мере, для меня это неожиданно, потому что, по моему опыту, в командах GNU / Linux порядок опций не имеет значения.
2. В разных версиях tar эти параметры ожидаются в разном порядке: например, ответ @ Andrew указывает на то, что в GNU tar v 1.26 и 1.28 исключения идут последними, тогда как в моем случае, с GNU tar 1.29, это другой путь.
3. ТРЕЙЛИНГ РЕЗУЛЬТАТОВ имеет значение : по крайней мере, в GNU tar 1.29, это не должно быть .

В моем случае для GNU tar 1.29 на Debian stretch сработала команда

tar --exclude="/home/user/.config/chromium" --exclude="/home/user/.cache" -cf file.tar  /dir1/ /home/ /dir3/

Цитаты не имели значения, они работали с ними или без них.

Надеюсь это кому-нибудь пригодится.

Вы можете использовать cpio (1) для создания файлов tar. cpio принимает файлы для архивации на stdin, поэтому, если вы уже выяснили команду find, которую хотите использовать для выбора файлов архива, направьте ее в cpio для создания файла tar:

find ... | cpio -o -H ustar | gzip -c > archive.tar.gz

gnu tar v 1.26 - --exclude должен следовать за аргументами файла архива и каталога резервных копий, не должен иметь начальных или конечных слешей и не предпочитает кавычки (одинарные или двойные). Таким образом, по отношению к каталогу PARENT для резервного копирования, это:

tar cvfz /path_to/mytar.tgz ./dir_to_backup --exclude=some_path/to_exclude

tar -cvzf destination_folder source_folder -X /home/folder/excludes.txt

-X указывает файл, который содержит список имен файлов, которые должны быть исключены из резервной копии. Для Instance вы можете указать * ~ в этом файле, чтобы не включать имена файлов, оканчивающиеся на ~ в резервной копии.

Лучше всего использовать find с tar через xargs (для обработки большого количества аргументов). Например:

find / -print0 | xargs -0 tar cjf tarfile.tar.bz2

Возможно избыточный ответ, но так как я нашел его полезным, вот оно:

В то время как корень FreeBSD (то есть использующий csh) я хотел скопировать всю мою корневую файловую систему в / mnt, но без / usr и (очевидно) / mnt. Вот что сработало (я на /):

tar --exclude ./usr --exclude ./mnt --create --file - . (cd /mnt && tar xvd -)

Весь мой смысл в том, что было необходимо (поставив ./ ) указать tar, что исключенные каталоги были скопированы как часть большего каталога.

Мои € 0,02

Мне не повезло получить tar, чтобы исключить поддиректорию на 5 гигабайт глубиной в несколько уровней. В конце концов, я просто использовал команду unix Zip. Это работало намного легче для меня.

Так что для этого конкретного примера из исходного поста
(tar --exclude = '. / Folder' --exclude = '. / Upload / folder2' -zcvf /backup/filename.tgz.)

Эквивалент будет:

zip -r /backup/filename.zip. -x загрузка / папка / ** \ * загрузка / папка2 / ** \ *

(ПРИМЕЧАНИЕ: вот пост, который я первоначально использовал, который помог мне /superuser/312301/unix-zip-directory-but-excluded-specific-subdirectories-and-everything-within-t )

Проверьте это

tar cvpzf zip_folder.tgz . --exclude=./public --exclude=./tmp --exclude=./log --exclude=fileName

Я хочу иметь свежую переднюю версию (угловая папка) на localhost. Кроме того, папка git в моем случае огромна, и я хочу ее исключить. Мне нужно скачать его с сервера и распаковать, чтобы запустить приложение.

Сожмите угловую папку из / var / lib / tomcat7 / webapps, переместите ее в папку / tmp с именем angular.23.12.19.tar.gz

Команда:

tar --exclude='.git' -zcvf /tmp/angular.23.12.19.tar.gz /var/lib/tomcat7/webapps/angular/

Успешный пример: 1) если указать полный путь для резервного копирования, в исключении также следует использовать полный путь.

tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz --exclude = '/ opt / ABC / csv / ' --exclude = '/ opt / ABC / log / ' / opt / ABC

2) при указании текущего пути для резервного копирования в исключении также должен использоваться только текущий путь.

tar -zcvf backup_27032020.tar.gz --exclude = 'ABC / csv / ' --exclude = 'ABC / log / ' ABC

Случай отказа:

1. если дать каталогу currentpath для резервного копирования и игнорировать полный путь, то работать не будет

   tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz --exclude = '/ opt / ABC / csv / ' --exclude = '/ opt / ABC / log / ' ABC

Примечание: упоминание exclude до / после резервного копирования вполне подойдет.

Если вы пытаетесь исключить файлы системы контроля версий (VCS), tar уже поддерживает два интересных варианта! :)

1. Опция: --exclude-vcs

Эта опция не включает файлы и каталоги , используемые следующими системами контроля версий: CVS, RCS, SCCS, SVN, Arch, Bazaar, Mercurial, и Darcs.

Начиная с версии 1.32 исключены следующие файлы:

• CVS/и все под ним
• RCS/и все под ним
• SCCS/и все под ним
• .git/и все под ним
• .gitignore
• .gitmodules
• .gitattributes
• .cvsignore
• .svn/и все под ним
• .arch-ids/и все под ним
• {arch}/и все под ним
• =RELEASE-ID
• =meta-update
• =update
• .bzr
• .bzrignore
• .bzrtags
• .hg
• .hgignore
• .hgrags

• _darcs

  2. Опция: --exclude-vcs-ignores

При архивировании каталогов, которые находятся в какой-либо системе контроля версий (VCS), часто удобно читать шаблоны исключений из файлов игнорирования этой VCS (например .cvsignore, .gitignoreи т. Д.). Эта опция предоставляет такую ​​возможность.

Перед архивацией каталога, содержит ли он какой - либо из следующих файлов: cvsignore, .gitignore, .bzrignore, или .hgignore. Если это так, прочитайте игнорировать шаблоны из этих файлов.

Шаблоны обрабатываются так же, как соответствующие VCS, то есть:

.cvsignore

Содержит шаблоны глобализации в стиле оболочки, которые применяются только к каталогу, в котором находится этот файл. Нет комментариев в файле. Пустые строки игнорируются.

.gitignore

Содержит ракушечные узоры. Применяется к каталогу, в котором .gitfileнаходится, и всем его подкаталогам.

Любая строка, начинающаяся с a, #является комментарием. Обратная косая черта экранирует символ комментария.

.bzrignore

Содержит шаблоны оболочки и регулярные выражения (если префикс RE:(16). Шаблоны влияют на каталог и все его подкаталоги.

Любая строка, начинающаяся с a, #является комментарием.

.hgignore

Содержит регулярные выражения posix (17). Линия syntax: globпереключается на шаблоны оболочки. Линия syntax: regexpпереключается обратно. Комментарии начинаются с #. Шаблоны влияют на каталог и все его подкаталоги.

3. пример

tar -czv --exclude-vcs --exclude-vcs-ignores -f path/to/my-tar-file.tar.gz path/to/my/project/

Следующий скрипт bash должен сделать свое дело. Он использует ответ, данный здесь Маркусом Сундманом.

#!/bin/bash

echo -n "Please enter the name of the tar file you wish to create with out extension "
read nam

echo -n "Please enter the path to the directories to tar "
read pathin

echo tar -czvf $nam.tar.gz
excludes=`find $pathin -iname "*.CC" -exec echo "--exclude \'{}\'" \;|xargs`
echo $pathin

echo tar -czvf $nam.tar.gz $excludes $pathin

Это распечатает нужную вам команду, и вы можете просто скопировать и вставить ее обратно. Вероятно, есть более элегантный способ предоставить ее непосредственно в командной строке.

Просто измените * .CC на любое другое распространенное расширение, имя файла или регулярное выражение, которое вы хотите исключить, и это все равно должно работать.

РЕДАКТИРОВАТЬ

Просто чтобы добавить небольшое объяснение; find генерирует список файлов, соответствующих выбранному регулярному выражению (в данном случае * .CC). Этот список передается через xargs команде echo. Это печатает - исключить «одну запись из списка». Косая черта () - это экранирующие символы для меток.