Нет больше места на диске: как я могу найти то, что занимает место?

Я столкнулся с проблемой на одном из моих серверов под управлением 16.04: на диске не осталось места.

Я понятия не имею, что занимает место. Есть ли команда для вывода списка текущих размеров каталогов, чтобы я мог пройти и оказаться в каталоге, занимающем все пространство?

Как всегда в Linux, есть несколько способов выполнить работу. Однако, если вам нужно сделать это из CLI, это мой предпочтительный метод:

Я начинаю с запуска этого как root или с sudo:

du -cha --max-depth=1 / | grep -E "M|G"

Grep - ограничить возвращаемые строки теми, которые возвращаются со значениями в мегабайтах или гигабайтах. Если ваши диски достаточно велики, вы можете добавить |Tтакже количество терабайт. Вы можете получить некоторые ошибки в /proc, /sysи / или , /devтак как они не являются реальными файлами на диске. Тем не менее, он по-прежнему должен обеспечивать корректный вывод для остальных каталогов в корне. После того, как вы найдете самые большие, вы можете запустить команду внутри этого каталога, чтобы сузить свой путь к преступнику. Так, например, если бы /varбыл самый большой, вы могли бы сделать это следующим образом:

du -cha --max-depth=1 /var | grep -E "M|G"

Это должно привести вас к проблеме детей!

Дополнительные соображения

Хотя приведенная выше команда, безусловно, справится, у меня была некоторая конструктивная критика в комментариях ниже, которые указали на некоторые вещи, которые вы также можете включить.

1. Предоставленное значение grepI может привести к тому, что случайное значение «K» будет возвращено, если имя каталога или файла имеет заглавную букву G или M. Если вы абсолютно не хотите, чтобы какой-либо из K-значных каталогов отображался, вы бы хотели, чтобы его подняли ваша игра регулярных выражений, чтобы быть более творческим и сложным. напримерgrep -E "^[0-9\.]*[MG]"

2. Если вы знаете, какой диск является проблемой, и на нем есть другие подключенные диски, которые вы не хотите тратить впустую, включая поиск, вы можете добавить -xфлаг к своей duкоманде. Описание man-страницы этого флага:

     -x, --one-file-system
         skip directories on different file systems
   

3. Вы можете отсортировать вывод duкоманды так, чтобы самое высокое значение было внизу. Просто добавьте это в конец команды:| sort -h

Вы можете использовать ncduдля этого. Это работает очень хорошо.

sudo apt install ncdu

Я использую эту команду

sudo du -aBM -d 1 . | sort -nr | head -20

Иногда мне нужно запустить его из /каталога, так как я поместил что-то в нечетное место.

Уже есть много хороших ответов о том, как найти каталоги, занимающие большую часть пространства. Если у вас есть основания полагать, что главной проблемой является небольшое количество больших файлов, а не множество маленьких, вы можете использовать что-то подобное find / -size +10M.

Я не знаю Ubuntu и не могу проверить свой ответ, но опубликую здесь мой ответ, основываясь на моем опыте работы в качестве администратора unix давным-давно.

1. Узнайте, какой файловой системе не хватает места

   df -h
   

   перечислит всю файловую систему, их размер и свободное пространство. Вы тратите время только тогда, когда исследуете файловые системы, на которых достаточно места. Предположим, что полной файловой системой является / myfilesystem. проверьте вывод df, если есть файловые системы, смонтированные в подкаталогах / myfilesystems. Если это так, следующие спецслужбы должны быть адаптированы к этой ситуации.

2. Узнайте, сколько места используется файлами этой файловой системы

   du -sh /myfilesystem
   

   Опция -x может использоваться для гарантии того, что будут учитываться только файлы, которые являются членами этой файловой системы. Некоторые варианты Unix (например, Solaris) не знают опцию -x для du. Затем вы должны использовать некоторые обходные пути, чтобы найти ду вашей файловой системы.

3. Теперь проверьте, является ли du ​​видимых файлов приблизительно размером используемого пространства, отображаемого df. Если это так, вы можете начать поиск больших файлов / каталогов файловой системы / myfilesystem для очистки.

4. найти самые большие подкаталоги каталога /.../dir использовать

   du -sk /.../dir/*|sort -n
   

   опция -k заставляет du выводить sie в килобайтах без единицы измерения. Это может быть по умолчанию в некоторых системах. Тогда вы можете опустить эту опцию. Самые большие файлы / подкаталоги будут показаны внизу вывода.

5. Если вы нашли большой файл / каталог, который вам больше не нужен, вы можете удалить его соответствующим образом. Не беспокойтесь о маленьких каталогах в верхней части вывода. Это не решит вашу проблему, если вы удалите их. Если вам все еще не хватает места, вы можете повторить шаг 4 в подкаталогах larges, которые отображаются внизу списка.

Но что случилось, если вывод du не приблизительно равен доступному пространству, отображаемому df?

Если вывод du больше, то вы пропустили подкаталог, в котором смонтирована другая файловая система. Если вывод du намного меньше, то файлы som не отображаются ни в одном каталоге, который вы проверяете. Там могут быть разные причины его явлений.

6. некоторые процессы используют файл, который уже был удален. Поэтому эти файлы были удалены из каталога, и вы их не видите. Но для файловой системы их блоки все еще используются, пока процессы не закроют файлы. Вы можете попытаться найти соответствующие процессы (например, с помощью lsof) и заставить их закрыть эти файлы (например, остановив приложение или убив процессы). Или вы просто перезагружаете свою машину.

7. в каталогах есть файлы, которые больше не видны, потому что в одном из их родительских каталогов смонтирована другая файловая система. Так что если у вас есть файл / myfilesysem / subdir / bigfile и теперь монтируете другую файловую систему в / myfilesystem / subdir, то вы больше не сможете видеть этот файл и

   du -shx /myfilesystem 
   

   сообщит о значении, которое не содержит размер / myfilesystem / subdir / bigfile. Единственный способ узнать, существуют ли такие файлы, это размонтировать / myfilesystem / subir и проверить с помощью

   ls -la /myfilesystem/subdir 
   

   если он содержит файлы.

8. Могут быть специальные типы файловых систем, которые используют / резервируют место на диске, который не виден команде ls. Вам нужны специальные инструменты для отображения этого.

Помимо этого систематического использования команды du, есть и другие, которые вы можете использовать. Таким образом, вы можете использовать команду find для поиска файлов, размер которых превышает заданное вами значение, вы можете искать файлы, размер которых превышает заданное вами значение или которые были недавно созданы или имеют специальное имя (например, * .log, core, * .trc). Но вы всегда должны делать df, как описано в 1, чтобы вы работали на правильной файловой системе

Если вы также заинтересованы в том, чтобы не использовать команду, вот приложение: Filelight

Это позволяет быстро визуализировать, что использует дисковое пространство в любой папке.

Попробуйте sudo apt-get autoremoveудалить неиспользуемые файлы, если вы этого еще не сделали

Я часто использую этот

du -sh /*/

Тогда, если я найду несколько больших папок, я переключусь на это и сделаю дальнейшее исследование

cd big_dir
du -sh */

При необходимости вы также можете сделать это автоматически с

du -s /*/ | sort -n

Не совсем ответ - но приложение.

Вам не хватает места и вы не можете установить ncdu из ответа @erman.

Некоторые предложения

• sudo apt clean allудалить пакеты, которые вы уже скачали. БЕЗОПАСНЫЙ
• sudo rm -f /var/log/*gzочистить файлы журналов старше недели или двух - не удалит новые / текущие журналы. САМЫЙ БЕЗОПАСНЫЙ
• sudo lsof | grep deletedперечислите все открытые файлы, но отфильтруйте их до тех, которые были удалены с диска. ЧЕСТНО БЕЗОПАСНЫЙ
• sudo rm /tmp/*удалите некоторые временные файлы - если что-то их использует, вы можете расстроить процесс. НЕ ДЕЙСТВИТЕЛЬНО ЭТО БЕЗОПАСНО

Это может возвращать такие строки:

server456 ~ $ lsof | grep deleted
init          1          root    9r      REG              253,0  10406312       3104 /var/lib/sss/mc/initgro                        ups (deleted)
salt-mini  4532          root    0r      REG              253,0        17     393614 /tmp/sh-thd-1492991421                         (deleted)

Ничего не могу сделать для строки инициализации, но вторая строка предполагает, что salt-minion имеет открытый файл, который был удален, и блоки диска будут возвращены после закрытия всех дескрипторов файла после перезапуска службы.

Другими распространенными подозрениями здесь могут быть syslog / rsyslog / syslog-ng, squid, apache или любой процесс, запущенный на вашем сервере, который является «тяжелым».

Я считаю особенно ценным вывод таких инструментов, как Filelight, но, как и в вашем случае, на серверах обычно нет установленного графического интерфейса, но duкоманда всегда доступна.

Что я обычно делаю, это:

• записать duвывод в файл ( du / > du_output.txt);
• скопируйте файл на мою машину;
• использовать DuFSдля «монтирования» duвывода во временный каталог; DuFSиспользует FUSE для создания виртуальной файловой системы (= файлы на самом деле не создаются, это все подделка) в соответствии с duвыводом;
• запустите Filelight или другой инструмент с графическим интерфейсом в этом временном каталоге.

Отказ от ответственности: я написал dufs- именно потому, что мне часто приходится выяснять, какое место занимает дисковое пространство на безголовых машинах.

Аналогичен @TopHat, но фильтрует некоторые файлы, если в их имени есть M, G или T. Я не верю, что он пропустит размер в первом столбце, но он не будет совпадать с именем файла, если вы не будете называть файлы творчески.

du -chad 1 . | grep -E '[0-9]M[[:blank:]]|[0-9]G[[:blank:]]|[0-9]T[[:blank:]]'

Переключатели командной строки объясняются здесь, так как я не знал, что сделал c или a.