Как использовать sed / grep для извлечения текста между двумя словами?

Я пытаюсь вывести строку, содержащую все, что находится между двумя словами строки:

вход:

"Here is a String"

вывод:

"is a"

С помощью:

sed -n '/Here/,/String/p'

включает конечные точки, но я не хочу их включать.

sed -e 's/Here\(.*\)String/\1/'

GNU grep также может поддерживать позитивный и негативный прогноз и ретроспективный анализ: в вашем случае команда будет выглядеть так:

echo "Here is a string" | grep -o -P '(?<=Here).*(?=string)'

Если есть несколько вхождений Hereи string, вы можете выбрать, хотите ли вы сопоставить с первого Hereи последнего stringили сопоставить их по отдельности. В терминах регулярного выражения это называется жадным совпадением (первый случай) или нежадным совпадением (второй случай)

$ echo 'Here is a string, and Here is another string.' | grep -oP '(?<=Here).*(?=string)' # Greedy match
 is a string, and Here is another 
$ echo 'Here is a string, and Here is another string.' | grep -oP '(?<=Here).*?(?=string)' # Non-greedy match (Notice the '?' after '*' in .*)
 is a 
 is another 

Принятый ответ не удаляет текст, который мог быть до Hereили после String. Это будет:

sed -e 's/.*Here\(.*\)String.*/\1/'

Основное отличие - добавление .*сразу до Hereи после String.

Вы можете удалить строки только в Bash :

$ foo="Here is a String"
$ foo=${foo##*Here }
$ echo "$foo"
is a String
$ foo=${foo%% String*}
$ echo "$foo"
is a
$

И если у вас есть GNU grep, который включает PCRE , вы можете использовать утверждение нулевой ширины:

$ echo "Here is a String" | grep -Po '(?<=(Here )).*(?= String)'
is a

Через GNU awk,

$ echo "Here is a string" | awk -v FS="(Here|string)" '{print $2}'
 is a 

grep with -P( perl-regexp ) поддерживает параметр \K, который помогает отбросить ранее сопоставленные символы. В нашем случае ранее согласованная строка была Hereисключена из окончательного вывода.

$ echo "Here is a string" | grep -oP 'Here\K.*(?=string)'
 is a 
$ echo "Here is a string" | grep -oP 'Here\K(?:(?!string).)*'
 is a 

Если вы хотите, чтобы результат был, is aвы можете попробовать следующее:

$ echo "Here is a string" | grep -oP 'Here\s*\K.*(?=\s+string)'
is a
$ echo "Here is a string" | grep -oP 'Here\s*\K(?:(?!\s+string).)*'
is a

Если у вас длинный файл с множеством многострочных вхождений, полезно сначала вывести числовые строки:

cat -n file | sed -n '/Here/,/String/p'

Это может сработать для вас (GNU sed):

sed '/Here/!d;s//&\n/;s/.*\n//;:a;/String/bb;$!{n;ba};:b;s//\n&/;P;D' file 

Это представляет каждое представление текста между двумя маркерами (в данном случае Hereи String) на новой строке и сохраняет новые строки в тексте.

У всех вышеперечисленных решений есть недостатки, когда последняя строка поиска повторяется в другом месте строки. Я решил, что лучше написать функцию bash.

    function str_str {
      local str
      str="${1#*${2}}"
      str="${str%%$3*}"
      echo -n "$str"
    }

    # test it ...
    mystr="this is a string"
    str_str "$mystr" "this " " string"

Вы можете использовать две команды s

$ echo "Here is a String" | sed 's/.*Here//; s/String.*//'
 is a 

Также работает

$ echo "Here is a StringHere is a String" | sed 's/.*Here//; s/String.*//'
 is a

$ echo "Here is a StringHere is a StringHere is a StringHere is a String" | sed 's/.*Here//; s/String.*//'
 is a 

Чтобы понять sedкоманду, мы должны построить ее шаг за шагом.

Вот ваш исходный текст

user@linux:~$ echo "Here is a String"
Here is a String
user@linux:~$ 

Попробуем удалить Hereстроку с sопцией ubstition вsed

user@linux:~$ echo "Here is a String" | sed 's/Here //'
is a String
user@linux:~$ 

На данный момент, я полагаю , вы могли бы удалить String, а

user@linux:~$ echo "Here is a String" | sed 's/String//'
Here is a
user@linux:~$ 

Но это не ваш желаемый результат.

Чтобы объединить две команды sed, используйте -eопцию

user@linux:~$ echo "Here is a String" | sed -e 's/Here //' -e 's/String//'
is a
user@linux:~$ 

Надеюсь это поможет

Вы можете использовать \1(см. Http://www.grymoire.com/Unix/Sed.html#uh-4 ):

echo "Hello is a String" | sed 's/Hello\(.*\)String/\1/g'

Содержимое, заключенное в скобки, будет сохранено как \1.

Проблема. Мои сохраненные сообщения Claws Mail упакованы следующим образом, и я пытаюсь извлечь строки темы:

Subject: [SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular
 link in major cell growth pathway: Findings point to new potential
 therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is
 Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as
 a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway
 identified [Lysosomal amino acid transporter SLC38A9 signals arginine
 sufficiency to mTORC1]]
Message-ID: <20171019190902.18741771@VictoriasJourney.com>

Согласно A2 в этой теме, как использовать sed / grep для извлечения текста между двумя словами? первое выражение, приведенное ниже, «работает» до тех пор, пока совпадающий текст не содержит новой строки:

grep -o -P '(?<=Subject: ).*(?=molecular)' corpus/01

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key

Однако, несмотря на то, что я попробовал множество вариантов ( .+?; /s; ...), я не смог заставить их работать:

grep -o -P '(?<=Subject: ).*(?=link)' corpus/01
grep -o -P '(?<=Subject: ).*(?=therapeutic)' corpus/01
etc.

Решение 1.

За извлечение текста между двумя строками в разных строках

sed -n '/Subject: /{:a;N;/Message-ID:/!ba; s/\n/ /g; s/\s\s*/ /g; s/.*Subject: \|Message-ID:.*//g;p}' corpus/01

который дает

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular link in major cell growth pathway: Findings point to new potential therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway identified [Lysosomal amino acid transporter SLC38A9 signals arginine sufficiency to mTORC1]]                              

Решение 2. *

Per Как я могу заменить новую строку (\ n) с помощью sed?

sed ':a;N;$!ba;s/\n/ /g' corpus/01

заменит новые строки пробелом.

Связать это с A2 в Как использовать sed / grep для извлечения текста между двумя словами? , мы получили:

sed ':a;N;$!ba;s/\n/ /g' corpus/01 | grep -o -P '(?<=Subject: ).*(?=Message-ID:)'

который дает

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular  link in major cell growth pathway: Findings point to new potential  therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is  Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as  a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway  identified [Lysosomal amino acid transporter SLC38A9 signals arginine  sufficiency to mTORC1]] 

Этот вариант удаляет двойные пробелы:

sed ':a;N;$!ba;s/\n/ /g; s/\s\s*/ /g' corpus/01 | grep -o -P '(?<=Subject: ).*(?=Message-ID:)'

дающий

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular link in major cell growth pathway: Findings point to new potential therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway identified [Lysosomal amino acid transporter SLC38A9 signals arginine sufficiency to mTORC1]]