Рекурсивный подсчет файлов в каталоге Linux

Как я могу рекурсивно считать файлы в каталоге Linux?

Я нашел это:

find DIR_NAME -type f ¦ wc -l

Но когда я запускаю это, он возвращает следующую ошибку.

найти: пути должны предшествовать выражению: ¦

Это должно работать:

find DIR_NAME -type f | wc -l

Объяснение:

• -type f включать только файлы.
• |( и не¦ ) перенаправляет findстандартный вывод wcкоманды на стандартный ввод команды.
• wc(сокращение от количества слов) подсчитывает новые строки, слова и байты на входе ( документы ).
• -l считать только переводы строк.

Ноты:

• Замените DIR_NAMEна, .чтобы выполнить команду в текущей папке.
• Вы также можете удалить, -type fчтобы включить каталоги (и символические ссылки) в число.
• Возможно, эта команда будет пересчитана, если имена файлов могут содержать символы новой строки.

Объяснение того, почему ваш пример не работает:

В показанной вами команде вы не используете «Pipe» ( |) для соединения двух команд, а разбитую панель ( ¦), которую оболочка не распознает как команду или что-то подобное. Вот почему вы получаете это сообщение об ошибке.

Для текущего каталога:

find -type f | wc -l

Если вы хотите указать количество файлов в каждом каталоге под вашим текущим каталогом:

for i in */ .*/ ; do 
    echo -n $i": " ; 
    (find "$i" -type f | wc -l) ; 
done

Это может идти все в одной строке, конечно. В скобках указывается, чей вывод wc -lпредполагается просматривать ( find $i -type fв данном случае).

Ты можешь использовать

$ tree

после установки пакета дерева с

$ sudo apt-get install tree

(на компьютере с Debian / Mint / Ubuntu Linux).

Команда показывает не только количество файлов, но и количество каталогов отдельно. Опция -L может использоваться для указания максимального уровня отображения (который по умолчанию является максимальной глубиной дерева каталогов).

Скрытые файлы также могут быть включены путем предоставления -aопции.

На моем компьютере rsyncэто немного быстрее, чем find | wc -lв принятом ответе:

$ rsync --stats --dry-run -ax /path/to/dir /tmp

Number of files: 173076
Number of files transferred: 150481
Total file size: 8414946241 bytes
Total transferred file size: 8414932602 bytes

Вторая строка содержит количество файлов 150 481 в приведенном выше примере. В качестве бонуса вы также получаете общий размер (в байтах).

Примечания:

• первая строка - это количество файлов, каталогов, символических ссылок и т. д. вместе взятых, поэтому она больше, чем вторая строка.
• --dry-run(или -nвариант для краткости) важно на самом деле не передавать файлы!
• Я использовал -xопцию «не пересекать границы файловой системы», что означает, что если вы выполняете ее /и у вас подключены внешние жесткие диски, она будет считать только файлы в корневом разделе.

Поскольку имена файлов в UNIX могут содержать переводы строк (да, переводы строк), wc -lможет быть слишком много файлов. Я бы напечатал точку для каждого файла и затем посчитал точки:

find DIR_NAME -type f -printf "." | wc -c

Комбинируя несколько ответов здесь, наиболее полезным решением является:

find . -maxdepth 1 -type d -print0 |
xargs -0 -I {} sh -c 'echo -e $(find "{}" -printf "\n" | wc -l) "{}"' |
sort -n

Он может обрабатывать такие странные вещи, как имена файлов, которые содержат пробелы в скобках и даже новые строки. Он также сортирует вывод по количеству файлов.

Вы можете увеличить число после -maxdepthтого, как подсчитать подкаталоги тоже. Имейте в виду, что это может занять много времени, особенно если у вас очень вложенная структура каталогов в сочетании с большим -maxdepthчислом.

Если вы хотите узнать, сколько файлов и подкаталогов существует в текущем рабочем каталоге, вы можете использовать этот однострочный

find . -maxdepth 1 -type d -print0 | xargs -0 -I {} sh -c 'echo -e $(find {} | wc -l) {}' | sort -n

Это будет работать во вкусе GNU, и просто опустите -e в команде echo для Linux BSD (например, OSX).

Если вы хотите избежать ошибок, не позволяйте wc -lвидеть файлы с символами новой строки (которые будут считаться как файлы 2+)

Например, рассмотрим случай, когда у нас есть один файл с одним символом EOL

> mkdir emptydir && cd emptydir
> touch $'file with EOL(\n) character in it'
> find -type f
./file with EOL(?) character in it
> find -type f | wc -l
2

Так как, по крайней мере, gnu wc, по-видимому, не имеет возможности считывать / считать нулевой завершенный список (кроме файла), самым простым решением будет просто не передавать ему имена файлов, а статический вывод каждый раз, когда файл найден, например, в том же каталоге, что и выше

> find -type f -exec printf '\n' \; | wc -l
1

Или, если ваш findподдерживает

> find -type f -printf '\n' | wc -l
1 

Вы можете использовать команду ncdu. Он будет рекурсивно подсчитывать, сколько файлов содержит каталог Linux. Вот пример вывода:

Он имеет индикатор выполнения, что удобно, если у вас много файлов:

Чтобы установить его на Ubuntu:

sudo apt-get install -y ncdu

Тест: я использовал https://archive.org/details/cv_corpus_v1.tar (380390 файлов, 11 ГБ) в качестве папки, в которой нужно посчитать количество файлов.

• find . -type f | wc -l: около 1м20 до завершения
• ncdu: около 1м20 до завершения

tree $DIR_PATH | tail -1

Пример вывода:

5309 каталогов, 2122 файлов

Чтобы определить, сколько файлов в текущем каталоге, вставьте ls -1 | wc -l. Используется wcдля подсчета количества строк (-l)в выводе ls -1. Это не считается точечными файлами. Обратите внимание, что ls -l(это «L», а не «1», как в предыдущих примерах), которое я использовал в предыдущих версиях этого HOWTO, на самом деле даст вам количество файлов, которое на один больше, чем фактическое. Спасибо Кам Неджад за этот пункт.

Если вы хотите считать только файлы и НЕ включать символические ссылки (просто пример того, что еще вы могли бы сделать), вы можете использовать ls -l | grep -v ^l | wc -l(на этот раз «L», а не «1», нам нужен «длинный» список здесь) , grepпроверяет наличие любой строки, начинающейся с «l» (указывает на ссылку), и отбрасывает эту строку (-v).

Относительная скорость: «ls -1 / usr / bin / | wc -l» занимает около 1,03 секунды на незагруженном 486SX25 (/ usr / bin / на этом аппарате имеет 355 файлов). « ls -l /usr/bin/ | grep -v ^l | wc -l» занимает около 1,19 секунд.

Источник: http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/x700.html

Если вам нужно рекурсивно считать определенный тип файла , вы можете сделать:

find YOUR_PATH -name '*.html' -type f | wc -l 

-l это просто для отображения количества строк в выводе.

С bash:

Создайте массив записей с помощью () и получите счет с помощью #.

FILES=(./*); echo ${#FILES[@]}

Хорошо, это не рекурсивно подсчитывает файлы, но я хотел сначала показать простой вариант. Распространенным вариантом использования может быть создание резервных копий для файла при переворачивании. Это создаст logfile.1, logfile.2, logfile.3 и т. Д.

CNT=(./logfile*); mv logfile logfile.${#CNT[@]}

Рекурсивный счет с globstarвключенным bash 4+ (как упомянуто @tripleee)

FILES=(**/*); echo ${#FILES[@]}

Чтобы рекурсивно получить количество файлов, мы все равно можем использовать find таким же образом.

FILES=(`find . -type f`); echo ${#FILES[@]}

Я написал ffcnt для ускорения рекурсивного подсчета файлов при определенных обстоятельствах: ротационные диски и файловые системы, которые поддерживают отображение экстентов .

Это может быть на порядок быстрее, чем lsили findоснованные подходы, но YMMV.

Для каталогов с пробелами в имени ... (на основе различных ответов выше) - рекурсивно вывести имя каталога с количеством файлов в:

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done

Пример (отформатирован для удобства чтения):

pwd
  /mnt/Vancouver/Programming/scripts/claws/corpus

ls -l
  total 8
  drwxr-xr-x 2 victoria victoria 4096 Mar 28 15:02 'Catabolism - Autophagy; Phagosomes; Mitophagy'
  drwxr-xr-x 3 victoria victoria 4096 Mar 29 16:04 'Catabolism - Lysosomes'

ls 'Catabolism - Autophagy; Phagosomes; Mitophagy'/ | wc -l
  138

## 2 dir (one with 28 files; other with 1 file):
ls 'Catabolism - Lysosomes'/ | wc -l
  29

Структура каталогов лучше визуализируется с помощью tree:

tree -L 3 -F .
  .
  ├── Catabolism - Autophagy; Phagosomes; Mitophagy/
  │   ├── 1
  │   ├── 10
  │   ├── [ ... SNIP! (138 files, total) ... ]
  │   ├── 98
  │   └── 99
  └── Catabolism - Lysosomes/
      ├── 1
      ├── 10
      ├── [ ... SNIP! (28 files, total) ... ]
      ├── 8
      ├── 9
      └── aaa/
          └── bbb

  3 directories, 167 files

man find | grep mindep
  -mindepth levels
    Do not apply any tests or actions at levels less than levels
    (a non-negative integer).  -mindepth 1 means process all files
    except the starting-points.

ls -p | grep -v /(используется ниже) из ответа 2 по адресу /unix/48492/list-only-regular-files-but-not-directories-in-current-directory

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done
./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
./Catabolism - Lysosomes: 28
./Catabolism - Lysosomes/aaa: 1

Applcation: я хочу найти максимальное количество файлов среди нескольких сотен каталогов (все глубины = 1) [вывод ниже снова отформатирован для удобства чтения]:

date; pwd
    Fri Mar 29 20:08:08 PDT 2019
    /home/victoria/Mail/2_RESEARCH - NEWS

time find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done > ../../aaa
    0:00.03

[victoria@victoria 2_RESEARCH - NEWS]$ head -n5 ../../aaa
    ./RNA - Exosomes: 26
    ./Cellular Signaling - Receptors: 213
    ./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
    ./Stress - Physiological, Cellular - General: 261
    ./Ancient DNA; Ancient Protein: 34

[victoria@victoria 2_RESEARCH - NEWS]$ sed -r 's/(^.*): ([0-9]{1,8}$)/\2: \1/g' ../../aaa | sort -V | (head; echo ''; tail)

    0: ./Genomics - Gene Drive
    1: ./Causality; Causal Relationships
    1: ./Cloning
    1: ./GenMAPP 2
    1: ./Pathway Interaction Database
    1: ./Wasps
    2: ./Cellular Signaling - Ras-MAPK Pathway
    2: ./Cell Death - Ferroptosis
    2: ./Diet - Apples
    2: ./Environment - Waste Management

    988: ./Genomics - PPM (Personalized & Precision Medicine)
    1113: ./Microbes - Pathogens, Parasites
    1418: ./Health - Female
    1420: ./Immunity, Inflammation - General
    1522: ./Science, Research - Miscellaneous
    1797: ./Genomics
    1910: ./Neuroscience, Neurobiology
    2740: ./Genomics - Functional
    3943: ./Cancer
    4375: ./Health - Disease 

sort -Vэто естественный вид. ... Итак, мое максимальное количество файлов в любой из этих папок (Claws Mail) составляет 4375 файлов. Если бы я оставил на клавиатуре ( https://stackoverflow.com/a/55409116/1904943 ) эти имена файлов - все они имеют числовые имена, начиная с 1, в каждом каталоге - и добавив до 5 общих цифр, я должен быть в порядке ,

добавление

Найти общее количество файлов, подкаталогов в каталоге.

$ date; pwd
Tue 14 May 2019 04:08:31 PM PDT
/home/victoria/Mail/2_RESEARCH - NEWS

$ ls | head; echo; ls | tail
Acoustics
Ageing
Ageing - Calorie (Dietary) Restriction
Ageing - Senescence
Agriculture, Aquaculture, Fisheries
Ancient DNA; Ancient Protein
Anthropology, Archaeology
Ants
Archaeology
ARO-Relevant Literature, News

Transcriptome - CAGE
Transcriptome - FISSEQ
Transcriptome - RNA-seq
Translational Science, Medicine
Transposons
USACEHR-Relevant Literature
Vaccines
Vision, Eyes, Sight
Wasps
Women in Science, Medicine

$ find . -type f | wc -l
70214    ## files

$ find . -type d | wc -l
417      ## subdirectories

Здесь много правильных ответов. Вот еще один!

find . -type f | sort | uniq -w 10 -c

где .папка для поиска и 10количество символов, по которым нужно сгруппировать каталог.

найти -тип f | туалет

ИЛИ (если каталог является текущим каталогом)

найти . тип F | туалет

Это будет работать совершенно нормально. Просто коротко. Если вы хотите посчитать количество файлов, присутствующих в папке.

ls | wc -l

Этот альтернативный подход с фильтрацией по формату подсчитывает все доступные модули ядра grub:

ls -l /boot/grub/*.mod | wc -l

ls -l | grep -e -x -e -dr | wc -l 

1. длинный перечень
2. фильтровать файлы и каталоги
3. считать отфильтрованную строку нет