Везде, где я вижу, кто-то должен получить отсортированный, уникальный список, к которому они всегда обращаются sort | uniq. Я никогда не видел примеров, где кто-то использует sort -uвместо этого. Почему нет? В чем разница, и почему для сортировки лучше использовать uniq, чем уникальный...
Я действительно наслаждаюсь control+rрекурсивным поиском в моей истории команд. Я нашел несколько хороших вариантов, которые мне нравится использовать с ним: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries...
$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ В результате мне нужно отобразить все строки исходного файла, удалив все дубликаты (не только последовательные), сохранив при этом исходный...
Эта однострочная строка удаляет повторяющиеся строки из текстового ввода без предварительной сортировки. Например: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Оригинальный код, который я нашел в интернете, читал: awk '!_[$0]++' Это было еще более озадачивающим для меня, так как я принял...
Вот команды для случайного файла из pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l 258...
Есть ли способ найти все файлы в каталоге с дублирующимися именами файлов, независимо от регистра (верхнего и / или нижнего
Мой вопрос похож на этот вопрос, но имеет несколько ограничений: У меня большой список \nслов с разделителями - по одному слову в строке. Размер файлов варьируется от 2 ГБ до 10 ГБ. Мне нужно удалить любые дубликаты строк. Процесс может сортировать список в процессе удаления дубликатов, но не...
Я столкнулся с этим вариантом использования сегодня. Это кажется простым , на первый взгляд, но возиться с sort, uniq, sedи awkвыяснилось , что это нетривиально. Как я могу удалить все пары повторяющихся строк? Другими словами, если есть четное количество дубликатов данной строки, удалите все из...
У меня есть старый код 2003 года, который использует -tопцию для uniqкоманды. Выдает ошибку, так как эта опция, вероятно, больше не поддерживается. Вот кусок, который использует команду: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t '(' +1 | \ uniq -t ':' -f 1 | \ sed...
У меня есть большой файл в следующем формате: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Если значения в столбце 2 совпадают, я хочу суммировать значения в столбцах 3 и 4 обеих строк, иначе просто сумму значений в уникальной строке. Итак, результат, на...
У меня есть файл с одним столбцом с именами, которые повторяются по несколько раз каждый. Я хочу сжать каждый повтор в одно, сохраняя при этом любые другие повторения с тем же именем, которые не соседствуют с другими повторениями с тем же именем. Например, я хочу повернуть левую сторону к правой...
Что происходит в следующем фрагменте кода? Я не получаю ожидаемый результат. Я бы подумал, что это ошибка, но это происходит для 2 разных программ (uniq и sort), поэтому я подозреваю, что это как-то связано ... ну, я не знаю, что ... отсюда вопрос. Первые 3 (из 4) примеров работают, но четвертый не...
У меня большой текстовый файл (1,5 Г), Я хочу знать, какой самый быстрый и надежный инструмент в Linux. Я обычно использую: awk '!x[$0]++' file.txt Но когда я использую htopкоманду, я вижу, что использование моей памяти увеличивается. Я хочу знать, что является самым быстрым и надежным для больших...
Если у меня есть строка «1 2 3 2 1» - или массив [1,2,3,2,1] - как я могу выбрать уникальные значения, т.е. "1 2 3 2 1" produces "1 2 3" или [1,2,3,2,1] produces [1,2,3] Похоже на uniq, но uniq, похоже, работает на целых строках, а не на шаблонах внутри строки...
Я пытаюсь наивно $ cat * | sort -u > /tmp/bla.txt который терпит неудачу с: -bash: /bin/cat: Argument list too long Таким образом, чтобы избежать глупого решения типа (создает огромный временный файл): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u...