Как удалить ненужные капли из моего репозитория git

У меня есть репозиторий GitHub с двумя ветками - master и release.

Ветвь выпуска содержала двоичные файлы дистрибутива, которые способствовали очень большому размеру репо (> 250 МБ), поэтому я решил все исправить.

Сначала я удалил ветку удаленного выпуска через git push origin :release

Затем я удалил ветку локального выпуска. Сначала я попробовал git branch -d release, но git сказал: «Ошибка: ветка release не является предком вашей текущей HEAD». что правда, поэтому я сделал, git branch -D releaseчтобы принудительно удалить его.

Но размер моего репозитория, как локально, так и на GitHub, по-прежнему был огромным. Итак, я просмотрел обычный список команд git, вроде git gc --prune=today --aggressive, безуспешно.

Следуя инструкциям Чарльза Бейли в SO 1029969, я смог получить список SHA1 для самых больших блобов. Затем я использовал сценарий из SO 460331, чтобы найти капли ... и пяти самых больших не существует, хотя обнаружены более мелкие капли, поэтому я знаю, что сценарий работает.

Я думаю, что эти блоги - это двоичные файлы из ветки выпуска, и они каким-то образом остались после удаления этой ветки. Как правильно от них избавиться?

... и без лишних слов, могу я представить вам эту полезную команду "git-gc-all", которая гарантированно удалит весь ваш git-мусор, пока не появятся дополнительные переменные конфигурации:

git -c gc.reflogExpire=0 -c gc.reflogExpireUnreachable=0 -c gc.rerereresolved=0 -c gc.rerereunresolved=0 -c gc.pruneExpire=now gc

Вам также может потребоваться сначала запустить что-то подобное, о боже, git - это сложно !!

git remote rm origin
rm -rf .git/refs/original/ .git/refs/remotes/ .git/*_HEAD .git/logs/
git for-each-ref --format="%(refname)" refs/original/ | xargs -n1 --no-run-if-empty git update-ref -d

Вам также может потребоваться удалить некоторые теги, спасибо Zitrax:

git tag | xargs git tag -d

Я записал все это в скрипт: git-gc-all-ferocious .

Как описано здесь , если вы хотите навсегда удалить все, на что ссылается только через reflog , просто используйте

git reflog expire --expire-unreachable=now --all
git gc --prune=now

git reflog expire --expire-unreachable=now --allудаляет все ссылки на недостижимые коммиты в reflog.

git gc --prune=now удаляет сами коммиты.

Внимание : только использование git gc --prune=nowне будет работать, поскольку эти коммиты все еще упоминаются в рефлоге. Следовательно, очистка рефлога обязательна. Также обратите внимание, что если вы rerereего используете, у него есть дополнительные ссылки, не очищенные этими командами. Подробнее git help rerereсм. Кроме того, любые коммиты, на которые ссылаются локальные или удаленные ветки или теги, не будут удалены, потому что они считаются ценными данными git.

Как упоминалось в этом SO-ответе , git gcможет действительно увеличить размер репо!

Также эту ветку

Теперь у git есть механизм безопасности, чтобы не удалять объекты, на которые нет ссылок, сразу при запуске ' git gc'.
По умолчанию объекты, на которые нет ссылок, хранятся в течение 2 недель. Это сделано для того, чтобы упростить восстановление случайно удаленных ветвей или коммитов или избежать гонки, когда только что созданный объект, находящийся в процессе, но еще не упомянутый, может быть удален git gcпараллельным процессом.

Таким образом, чтобы дать этот льготный период упакованным, но не имеющим ссылки объектам, процесс переупаковки выталкивает эти объекты без ссылок из упаковки в их свободную форму, чтобы их можно было выдержать и в конечном итоге обрезать.
Однако объектов, на которые нет ссылок, обычно не так много. Наличие 404855 объектов, на которые нет ссылок, - это довольно много, и отправка этих объектов в первую очередь через клон - это глупо и полная трата пропускной способности сети.

В любом случае ... Чтобы решить вашу проблему, вам просто нужно запустить ' git gc' с --prune=nowаргументом, чтобы отключить этот льготный период и сразу же избавиться от тех объектов, на которые нет ссылок (безопасно, только если в то же время не выполняются другие действия git, которые должны быть легко обеспеченным на рабочей станции).

И BTW, используя ' git gc --aggressive' с более поздней версией git (или ' git repack -a -f -d --window=250 --depth=250')

В той же теме упоминается :

 git config pack.deltaCacheSize 1

Это ограничивает размер дельта-кеша одним байтом (фактически отключая его) вместо значения по умолчанию 0, что означает неограниченный. Благодаря этому я могу перепаковать этот репозиторий, используя указанную выше git repackкоманду в системе x86-64 с 4 ГБ ОЗУ и с использованием 4 потоков (это четырехъядерный процессор). Однако использование резидентной памяти увеличивается почти до 3,3 ГБ.

Если ваш компьютер SMP и у вас недостаточно оперативной памяти, вы можете уменьшить количество потоков до одного:

git config pack.threads 1

Кроме того, вы можете дополнительно ограничить использование памяти с помощью --window-memory argument" git repack".
Например, использование --window-memory=128Mдолжно сохранять разумную верхнюю границу использования памяти для дельта-поиска, хотя это может привести к менее оптимальному дельта-совпадению, если репо содержит много больших файлов.

Что касается ветки фильтров, вы можете (осторожно) рассмотреть этот сценарий

#!/bin/bash
set -o errexit

# Author: David Underhill
# Script to permanently delete files/folders from your git repository.  To use 
# it, cd to your repository's root and then run the script with a list of paths
# you want to delete, e.g., git-delete-history path1 path2

if [ $# -eq 0 ]; then
    exit 0
fi

# make sure we're at the root of git repo
if [ ! -d .git ]; then
    echo "Error: must run this script from the root of a git repository"
    exit 1
fi

# remove all paths passed as arguments from the history of the repo
files=$@
git filter-branch --index-filter "git rm -rf --cached --ignore-unmatch $files" HEAD

# remove the temporary history git-filter-branch otherwise leaves behind for a long time
rm -rf .git/refs/original/ && git reflog expire --all &&  git gc --aggressive --prune

git gc --prune=now, или низкий уровень git prune --expire now.

Каждый раз, когда ваша ГОЛОВА движется, git отслеживает это в файле reflog. Если вы удалили коммиты, у вас останутся «болтающиеся коммиты», потому что на них по-прежнему ссылается reflog~ 30 дней. Это подстраховка при случайном удалении коммитов.

Вы можете использовать git reflogкоманду удаления определенных коммитов, переупаковки и т. Д. Или просто команду высокого уровня:

git gc --prune=now

Вы можете использовать git forget-blob.

Использование довольно простое git forget-blob file-to-forget. Вы можете получить больше информации здесь

https://ownyourbits.com/2017/01/18/completely-remove-a-file-from-a-git-repository-with-git-forget-blob/

Он исчезнет из всех коммитов в вашей истории, рефлоге, тегах и т. Д.

Время от времени я сталкиваюсь с одной и той же проблемой, и каждый раз, когда мне приходится возвращаться к этому и другим постам, я автоматизировал этот процесс.

Благодарности таких участников, как Сэм Уоткинс

Попробуйте использовать git-filter-branch - он не удаляет большие капли, но может удалить большие файлы, которые вы укажете, из всего репо. Для меня это уменьшает размер репо с сотен МБ до 12 МБ.

Иногда причина того, что «gc» не приносит особой пользы, заключается в том, что существует незаконченная перебазировка или тайник, основанный на старой фиксации.

Чтобы добавить еще один совет, не забудьте использовать git remote prune для удаления устаревших веток ваших пультов перед использованием git gc.

вы можете увидеть их с помощью git branch -a

Это часто бывает полезно, когда вы получаете данные из github и разветвленных репозиториев ...

Прежде чем делать git filter-branchи git gc, вам следует просмотреть теги, которые присутствуют в вашем репо. Любая реальная система, которая имеет автоматические теги для таких вещей, как непрерывная интеграция и развертывание, будет делать нежелательные объекты, на которые ссылаются эти теги, поэтому gcне может их удалить, и вы все равно будете задаваться вопросом, почему размер репо по-прежнему так велик.

Лучший способ избавиться от всего нежелательного - запустить git-filter&, git gcа затем переместить мастер в новое голое репо. Новое чистое репо будет иметь очищенное дерево.