Вопросы с тегом «text-processing»

16
Сохранить вывод команды в кольцевой буфер

У меня есть длительная команда, которая генерирует большой вывод на стандартный вывод. Я хотел бы иметь возможность сохранить, например, только последние три дня или последний гибибайт (избегая линий разреза посередине) и, если возможно, в файловых фрагментах размером не более 20 МБ. Каждому...

16
Печать строк между (и включая) двумя рисунками

Я хочу начать расчистку со строк, которые имеют CKв конце строки, и прекратить сопоставление, когда строка имеет Dв конце. Я пытался grep "$CK" "$D" file..txt, но это не сработало. Входные данные: kkkkkkkkkkk jjjjjjjjjjjjjjjjjj gggggggggggg/CK JHGHHHHHHHH HJKHKKLKLLL JNBHBHJKJJLKKL JLKKKLLKJLKJ/D...

16
Как удалить повторяющиеся строки в большом текстовом файле размером в несколько ГБ?

Мой вопрос похож на этот вопрос, но имеет несколько ограничений: У меня большой список \nслов с разделителями - по одному слову в строке. Размер файлов варьируется от 2 ГБ до 10 ГБ. Мне нужно удалить любые дубликаты строк. Процесс может сортировать список в процессе удаления дубликатов, но не...

16
Удалить дубликаты попарно?

Я столкнулся с этим вариантом использования сегодня. Это кажется простым , на первый взгляд, но возиться с sort, uniq, sedи awkвыяснилось , что это нетривиально. Как я могу удалить все пары повторяющихся строк? Другими словами, если есть четное количество дубликатов данной строки, удалите все из...

16
сравнить два столбца разных файлов и распечатать, если он совпадает

Я использую Solaris 10, поэтому параметры grep, включающие -f, не работают. У меня есть два файла, разделенных каналом: file1: abc|123|BNY|apple| cab|234|cyx|orange| def|kumar|pki|bird| файл 2: abc|123| kumar|pki| cab|234 Я хотел бы сравнить первые два столбца файла file2 с файлом file1 (поиск по...

16
Заменить строку, содержащую новую строку в огромном файле

Кто-нибудь знает инструмент, не основанный на строках, для «бинарного» поиска / замены строк в некотором смысле эффективным способом памяти? Смотрите и этот вопрос . У меня есть текстовый файл + 2 ГБ, который я хотел бы обработать аналогично тому, как это выглядит: sed -e 's/>\n/>/g' Это...

16
Инструмент в Unix для вычитания текстовых файлов?

У меня есть большой файл, состоящий из текстовых полей, разделенных точками с запятой в виде большой таблицы. Это было отсортировано. У меня есть файл меньшего размера, состоящий из тех же текстовых полей. В какой-то момент кто-то связал этот файл с другими, а затем сделал сортировку, чтобы...

16
Найти файлы, которые содержат несколько ключевых слов в любом месте файла

Я ищу способ перечислить все файлы в каталоге, которые содержат полный набор ключевых слов, которые я ищу, в любом месте файла. Таким образом, ключевые слова не должны появляться в одной строке. Один из способов сделать это будет: grep -l one $(grep -l two $(grep -l three *)) Три ключевых слова -...

16
Удалить символ новой строки только каждые N строк

Обрабатывая текст, мне нужно удалять символ новой строки каждые две строки. Образец текста: this is line one and this is line two the third and the fourth must be pasted too Желаемый вывод: this is line one and this is line two the third and the fourth must be pasted too Я пробовал whileцикл, но...

15
Куда делся завершающий символ новой строки из моей подстановки команд?

Следующий код лучше всего описывает ситуацию. Почему последняя строка не выводит завершающий символ новой строки? Вывод каждой строки показан в комментарии. Я использую GNU Bash, версия 4.1.5 echo -n $'a\nb\n' | xxd -p # 610a620a x=$'a\nb\n' ; echo -n "$x" | xxd -p # 610a620a echo -ne "a\nb\n" |...

15
вырезать столбец 2 из текстового файла

Мой текстовый файл не имеет разделителя для указания разделителя только пробелы, как вырезать столбец 2 в выходной файл, 39 207 City and County of San Francisc REJECTED MAT = 0 78 412 Cases and materials on corporat REJECTED MAT = 0 82 431 The preparation of contracts an REJECTED MAT = 0 Итак,...

15
Объединение большого количества файлов

У меня есть ± 10000 файлов ( res.1- res.10000), все состоящие из одного столбца и равного количества строк. То, что я хочу, по сути, просто; объединить все файлы по столбцам в новый файл final.res. Я пытался с помощью: paste res.* Однако (хотя это , кажется, работает для небольшого подмножества...

15
Как отобразить n-й результат команды ls?

Я использовал эту команду для отображения первого результата файлов в моем каталоге. ls | head -n 1 Мой простой вопрос: как я могу изменить эту команду для отображения, скажем, n-го результата?...

15
awk + print line только если первое поле начинается со строки как Linux1

как напечатать строку, если первое поле начинается с Linux1 например: echo Linux1_ver2 12542 kernel-update | awk '{if ($1 ~ Linux1 ) print $0;}' цель состоит в том, чтобы напечатать строку, в то время как первое поле начинается с Linux1 пример строк: Linux1-new 36352 Version:true Linux1-1625543...