Есть ли простой способ подсчета символов в словах в файле, из терминала?

У меня есть 100 миллионов строк в моем файле.

Каждая строка имеет только один столбец.

например

aaaaa
bb
cc
ddddddd
ee

Я хотел бы перечислить количество символов

Нравится

2 character words - 3
5 character words - 1
7 character words - 1

и т.п.

Есть ли простой способ сделать это в терминале?

$ awk '{ print length }' file | sort -n | uniq -c | awk '{ printf("%d character words: %d\n", $2, $1) }'
2 character words: 3
5 character words: 1
7 character words: 1

Первый awkфильтр просто напечатает длину каждой строки в вызываемом файле file. Я предполагаю, что этот файл содержит одно слово в строке.

В sort -n(сортировка линии с выхода awkчисленно в порядке возрастания) и uniq -c(подсчитать количество раз , каждая строка происходит последовательно) , а затем создаст следующий вывод из что для приведенных данных:

   3 2
   1 5
   1 7

Затем он анализируется вторым awkсценарием, который интерпретирует каждую строку как «число X строк, содержащих символы Y» и выдает желаемый результат.

Альтернативное решение состоит в том, чтобы сделать все это awkи вести подсчет длин в массиве. Это компромисс между эффективностью, удобочитаемостью / простотой понимания (и, следовательно, удобством обслуживания), какое решение является «лучшим».

Альтернативное решение:

$ awk '{ len[length]++ } END { for (i in len) printf("%d character words: %d\n", i, len[i]) }' file
2 character words: 3
5 character words: 1
7 character words: 1

Еще один способ сделать все это в awkодиночку

$ awk '{words[length()]++} END{for(k in words)print k " character words - " words[k]}' ip.txt 
2 character words - 3
5 character words - 1
7 character words - 1

• words[length()]++ использовать длину строки ввода в качестве ключа, чтобы сохранить счет
• END{for(k in words)print k " character words - " words[k]} после обработки всех строк выведите содержимое массива в нужном формате

Сравнение производительности, выбранные номера являются лучшими из двух прогонов

$ wc words.txt
 71813  71813 655873 words.txt
$ perl -0777 -ne 'print $_ x 1000' words.txt > long_file.txt
$ du -h --apparent-size long_file.txt
626M    long_file.txt

$ time awk '{words[length()]++} END{for(k in words)print k " character words - " words[k]}' long_file.txt > t1

real    0m20.632s
user    0m20.464s
sys     0m0.108s

$ time perl -lne '$h{length($_)}++ }{ for $n (sort keys %h) {print "$n character words - $h{$n}"}' long_file.txt > t2

real    0m19.749s
user    0m19.640s
sys     0m0.108s

$ time awk '{ print length }' long_file.txt | sort -n | uniq -c | awk '{ printf("%d character words - %d\n", $2, $1) }' > t3

real    1m23.294s
user    1m24.952s
sys     0m1.980s

$ diff -s <(sort t1) <(sort t2)
Files /dev/fd/63 and /dev/fd/62 are identical
$ diff -s <(sort t1) <(sort t3)
Files /dev/fd/63 and /dev/fd/62 are identical

Если файл содержит только символы ASCII,

$ time LC_ALL=C awk '{words[length()]++} END{for(k in words)print k " character words - " words[k]}' long_file.txt > t1

real    0m15.651s
user    0m15.496s
sys     0m0.120s

Не уверен, почему время perlне сильно изменилось, возможно, кодировка должна быть установлена ​​другим способом

Вот perlэквивалент (с - необязательно - сортировка):

$ perl -lne '
    $h{length($_)}++ }{ for $n (sort keys %h) {print "$n character words - $h{$n}"}
' file
2 character words - 3
5 character words - 1
7 character words - 1

Альтернативой один вызов GNU AWK, используя Printf :

$ awk 'BEGIN { PROCINFO["sorted_in"] = "@ind_str_asc"}
       {c[length($0)]++}
       END{
           for(i in c){printf("%s character words - %s\n",i,c[i])}
          }' infile
2 character words - 3
5 character words - 1
7 character words - 1

Основной алгоритм просто собирает количество символов в массиве. Конечная часть печатает собранные отсчеты в формате printf.

Быстро, просто, один звонок в awk.

Чтобы быть точным: немного больше памяти используется для хранения массива.
Но сортировка не вызывается (индексы числовых массивов устанавливаются так, чтобы их всегда обходили, сортируя вверх с помощью PROCINFO), и только одна внешняя программа: awkвместо нескольких.