rsync исключить в соответствии с .gitignore & .hgignore & svn: игнорировать, как --filter =: C

Rsync включает отличную возможность --cvs-exclude«игнорировать файлы так же, как это делает CVS», но CVS уже много лет устарела. Есть ли способ сделать так, чтобы он также исключал файлы, которые игнорировались бы современными системами контроля версий (Git, Mercurial, Subversion)?

Например, у меня есть много проектов Maven, проверенных на GitHub. Обычно они включают в себя .gitignoreсписок как минимум targetкаталога сборки Maven по умолчанию (который может присутствовать на верхнем уровне или в подмодулях). Поскольку содержимое этих каталогов полностью одноразовое и может быть намного больше исходного кода, я хотел бы исключить их при использовании rsync для резервного копирования.

Конечно, я могу явно, --exclude=target/но это случайно подавит несвязанные каталоги, которые случайно названы targetи не должны игнорироваться.

И я мог бы предоставить полный перечень абсолютных путей для всех имен файлов и шаблонов , упомянутых в любом .gitignore, .hgignoreили svn:ignoreсобственность на моем диске, но это был бы огромный список , который должен был бы быть получен какой - то сценарий.

Поскольку rsync не имеет встроенной поддержки проверок VCS, кроме CVS, есть ли какой-нибудь хороший трюк, чтобы скормить ему их шаблоны игнорирования? Или какая-то система обратного вызова, с помощью которой пользовательский сценарий может быть задан вопрос, следует ли включать данный файл / каталог?

Обновление : --filter=':- .gitignore'как было предложено LordJavac, похоже, работает также для Git, как --filter=:Cи для CVS, по крайней мере, в найденных мной примерах, хотя неясно, является ли синтаксис точным совпадением. --filter=':- .hgignore'не очень хорошо работает для Mercurial; например, .hgignoreсодержащий строку вроде ^target$(Mercurial эквивалент Git /target/) не распознается rsync как регулярное выражение. И, похоже, ничего не работает для Subversion, для которой вам придется разобрать .svn/dir-prop-baseрабочую копию 1.6 или более ранней версии и в ужасе вскинуть руки для рабочей копии 1.7 или более поздней версии.

Как упоминал luksan, вы можете сделать это с помощью --filterпереключателя на rsync. Я добился этого с помощью --filter=':- .gitignore'(есть пробел перед ".gitignore"), который сообщает, rsyncчто нужно объединить каталог с .gitignoreфайлами и исключить их по правилам git. Вы также можете добавить свой глобальный файл игнорирования, если он у вас есть. Чтобы упростить использование, я создал псевдоним, в rsyncкоторый включен фильтр.

Вы можете использовать git ls-filesдля построения списка файлов, исключенных из файлов репозитория .gitignore. https://git-scm.com/docs/git-ls-files

Параметры:

• --exclude-standardСчитайте все .gitignoreфайлы.
• -o Не игнорируйте неустановленные изменения.
• -i Выводить только игнорируемые файлы.
• --directory Выводить путь к каталогу, только если игнорируется весь каталог.

Единственное, что я оставил игнорировать, это .git.

rsync -azP --exclude=.git --exclude=`git -C <SRC> ls-files --exclude-standard -oi --directory` <SRC> <DEST>

как насчет rsync --exclude-from='path/.gitignore' --exclude-from='path/myignore.txt' source destination?
У меня это сработало.
Я считаю, что у вас тоже может быть больше --exclude-fromпараметров.

Решение 2018 подтверждено

rsync -ah --delete 
    --include .git --exclude-from="$(git -C SRC ls-files \
        --exclude-standard -oi --directory >.git/ignores.tmp && \
        echo .git/ignores.tmp')" \
    SRC DST 

Подробности: --exclude-fromобязательно вместо --exclude, потому что вероятный случай, когда список исключений не будет проанализирован как аргумент. Исключить из требует файла и не может работать с каналами.

Текущее решение сохраняет файл исключений внутри папки .git, чтобы гарантировать, что он не повлияет git status, сохраняя его автономным. Если хотите, можете использовать / tmp.

Для ртутного вы можете использовать

hg status -i | sed 's/^I //' > /tmp/tmpfile.txt

собрать список файлов, которые НЕ находятся под постоянным контролем из-за ограничений .hgignore, а затем запустить

rsync -avm --exclude-from=/tmp/tmpfile.txt --delete source_dir/ target_dir/

для rsync всех файлов, кроме игнорируемых. Обратите внимание на флаг -m в rsync, который исключит пустые каталоги из синхронизации, потому что hg status -i будет перечислять только исключенные файлы, а не каталоги

Попробуй это:

rsync -azP --delete --filter=":- .gitignore" <SRC> <DEST>

Он может копировать все файлы в удаленный каталог, за исключением файлов в '.gitignore', и удалять файлы не в вашем текущем каталоге.

На rsyncстранице руководства в дополнение к стандартному списку шаблонов файлов:

файлы, перечисленные в $ HOME / .cvsignore, добавляются в список, а любые файлы, перечисленные в переменной среды CVSIGNORE

Итак, мой файл $ HOME / .cvsignore выглядит так:

.git/
.sass-cache/

чтобы исключить .git и файлы, созданные Sass .

У меня было несколько очень больших .gitignoreфайлов, и ни одно из решений "чистого rsync" не помогло мне. Я написал этот сценарий оболочки rsync , он полностью соблюдает .gitignoreправила (включая !исключения в стиле и .gitignoreфайлы в подкаталогах) и работал для меня как шарм.

Ознакомьтесь с разделом ПРАВИЛА ФИЛЬТРА MERGE-FILES в rsync (1).

Похоже, что можно создать правило rsync --filter, которое будет включать файлы .gitignore по мере прохождения структуры каталогов.

Вместо создания фильтров исключения вы можете использовать git ls-filesдля выбора каждого файла для rsync:

#!/usr/bin/env bash

if [[ ! $# -eq 2 ]] ; then
    echo "Usage: $(basename $0) <local source> <rsync destination>"
    exit 1
fi

cd $1
versioned=$(git ls-files --exclude-standard)
rsync --verbose --links --times --relative --protect-args ${versioned} $2

Это работает, даже если git ls-filesвозвращает пути, разделенные новой строкой. Вероятно, не будет работать, если у вас есть версированные файлы с пробелами в именах файлов.

Альтернативы:

git ls-files -zi --exclude-standard |rsync -0 --exclude-from=- ...

git ls-files -zi --exclude-per-directory=".gitignore" |...

(rsync понимает только частично .gitignore)

Короткий ответ

rsync -r --info=progress2 --filter=':- .gitignore' SOURCE DEST/

Значение параметров:

-r: рекурсивный

--info=...: показать прогресс

--filter=...: исключить по правилам, указанным в файле .gitignore

После нескольких часов исследований я нашел именно то, что мне нужно: синхронизировать папку назначения с исходной папкой (также удаляя файлы в месте назначения, если они были удалены в источнике), а не копировать в место назначения файлы, которые игнорируются .gitignore, но также не удалять эти файлы в месте назначения :

clear && rsync -vhra /source/project/ /destination/project/ --include='**.gitignore' --exclude='/.git' --filter=':- .gitignore' --delete-after

Другими словами, эта команда полностью игнорирует файлы из .gitignore как в источнике, так и в месте назначения . Вы можете опустить --exclude='/.git'часть, если хотите скопировать и .gitпапку.

Вы ДОЛЖНЫ копировать файлы .gitignore из источника. Если вы будете использовать команду LordJavac, файл .gitignore не будет скопирован. И если вы создаете файл в папке назначения, который должен игнорироваться .gitignore, этот файл будет удален, несмотря на .gitignore. Это потому, что у вас нет файлов .gitignore в месте назначения. Но если у вас будут эти файлы, файлы, описанные в .gitignore, не будут удалены, они будут проигнорированы, как ожидается.