Регулярное выражение, соответствующее многострочному блоку текста

106

У меня возникли некоторые проблемы с тем, чтобы регулярное выражение Python работало при сопоставлении текста, который занимает несколько строк. Пример текста ('\ n' - это новая строка)

some Varying TEXT\n
\n
DSJFKDAFJKDAFJDSAKFJADSFLKDLAFKDSAF\n
[more of the above, ending with a newline]\n
[yep, there is a variable number of lines here]\n
\n
(repeat the above a few hundred times).

Я хотел бы зафиксировать две вещи: часть some_Varying_TEXT и все строки текста в верхнем регистре, которые идут двумя строками ниже, за один захват (я могу вырезать символы новой строки позже). Я пробовал несколько подходов:

re.compile(r"^>(\w+)$$([.$]+)^$", re.MULTILINE) # try to capture both parts
re.compile(r"(^[^>][\w\s]+)$", re.MULTILINE|re.DOTALL) # just textlines

и множество его вариаций безуспешно. Последний, кажется, соответствует строкам текста одну за другой, что мне не очень нужно. Я могу уловить первую часть, без проблем, но я не могу уловить 4-5 строк текста в верхнем регистре. Я бы хотел, чтобы match.group (1) была some_Varying_Text, а группа (2) была line1 + line2 + line3 + и т.д., пока не встретится пустая строка.

Если кому-то интересно, это должна быть последовательность аминокислот, из которых состоит белок.

Янв
источник
Есть ли что-то еще в файле, кроме первой строки и текста в верхнем регистре? Я не уверен, почему вы использовали регулярное выражение вместо разделения всего текста на символы новой строки и взятия первого элемента как some_Varying_TEXT.
UncleZeiv
2
да, регулярное выражение - неправильный инструмент для этого.
В вашем образце текста нет ведущего >символа. Должен ли он?
MiniQuark

Ответы:

115

Попробуй это:

re.compile(r"^(.+)\n((?:\n.+)+)", re.MULTILINE)

Я думаю , что самой большой проблемой является то , что вы ожидая ^и $якоря , чтобы соответствовать символы новой строки, но они этого не делают. В многострочном режиме ^сопоставляет позицию сразу после новой строки и $соответствует позиции, непосредственно предшествующей новой строке.

Также помните, что новая строка может состоять из перевода строки (\ n), возврата каретки (\ r) или возврата каретки + перевода строки (\ r \ n). Если вы не уверены, что ваш целевой текст использует только перевод строки, вам следует использовать эту более инклюзивную версию регулярного выражения:

re.compile(r"^(.+)(?:\n|\r\n?)((?:(?:\n|\r\n?).+)+)", re.MULTILINE)

Кстати, вы не хотите использовать здесь модификатор DOTALL; вы полагаетесь на то, что точка соответствует всему, кроме новой строки.

Алан Мур
источник
Вы можете заменить вторую точку в регулярном выражении на [AZ], если вы не хотите, чтобы это регулярное выражение совпадало практически с любым текстовым файлом с пустой второй строкой. ;-)
MiniQuark
У меня сложилось впечатление, что целевые файлы будут соответствовать определенному (и повторяющемуся) шаблону пустых и непустых строк, поэтому указывать [AZ] не обязательно, но это, вероятно, тоже не повредит.
Алан Мур,
Это решение прекрасно сработало. Кстати, прошу прощения, так как я, очевидно, недостаточно прояснил ситуацию (а также за опоздание с этим ответом). Спасибо за вашу помощь!
янв.
23

Это будет работать:

>>> import re
>>> rx_sequence=re.compile(r"^(.+?)\n\n((?:[A-Z]+\n)+)",re.MULTILINE)
>>> rx_blanks=re.compile(r"\W+") # to remove blanks and newlines
>>> text="""Some varying text1
...
... AAABBBBBBCCCCCCDDDDDDD
... EEEEEEEFFFFFFFFGGGGGGG
... HHHHHHIIIIIJJJJJJJKKKK
...
... Some varying text 2
...
... LLLLLMMMMMMNNNNNNNOOOO
... PPPPPPPQQQQQQRRRRRRSSS
... TTTTTUUUUUVVVVVVWWWWWW
... """
>>> for match in rx_sequence.finditer(text):
...   title, sequence = match.groups()
...   title = title.strip()
...   sequence = rx_blanks.sub("",sequence)
...   print "Title:",title
...   print "Sequence:",sequence
...   print
...
Title: Some varying text1
Sequence: AAABBBBBBCCCCCCDDDDDDDEEEEEEEFFFFFFFFGGGGGGGHHHHHHIIIIIJJJJJJJKKKK

Title: Some varying text 2
Sequence: LLLLLMMMMMMNNNNNNNOOOOPPPPPPPQQQQQQRRRRRRSSSTTTTTUUUUUVVVVVVWWWWWW

Некоторое объяснение этого регулярного выражения может быть полезно: ^(.+?)\n\n((?:[A-Z]+\n)+)

  • Первый символ ( ^) означает «начало с начала строки». Имейте в виду, что он не соответствует самой новой строке (то же самое для $: это означает «непосредственно перед новой строкой», но не соответствует самой новой строке).
  • Тогда (.+?)\n\nозначает «сопоставить как можно меньше символов (разрешены все символы), пока не дойдете до двух символов новой строки». Результат (без символов новой строки) помещается в первую группу.
  • [A-Z]+\nозначает «сопоставьте как можно больше букв в верхнем регистре, пока не дойдете до новой строки. Это определяет то, что я буду называть текстовой строкой .
  • ((?:Текстовая строка)+) означает соответствие одной или нескольким текстовым строкам, но не помещает каждую строку в группу. Вместо этого поместите все в объекты TextLine в одной группы.
  • Вы можете добавить финал \nв регулярное выражение, если хотите, чтобы в конце был двойной символ новой строки.
  • Кроме того, если вы не уверены, какой тип новой строки вы получите ( \nили \rили \r\n), просто исправьте регулярное выражение, заменив каждое вхождение \nна (?:\n|\r\n?).
MiniQuark
источник
1
match () возвращает только одно совпадение в самом начале целевого текста, но OP сказал, что для каждого файла будут сотни совпадений. Я думаю, вам бы хотелось вместо этого finditer ().
Алан Мур,
6

Если бы в каждом файле была только одна последовательность аминокислот, я бы вообще не использовал регулярные выражения. Примерно так:

def read_amino_acid_sequence(path):
    with open(path) as sequence_file:
        title = sequence_file.readline() # read 1st line
        aminoacid_sequence = sequence_file.read() # read the rest

    # some cleanup, if necessary
    title = title.strip() # remove trailing white spaces and newline
    aminoacid_sequence = aminoacid_sequence.replace(" ","").replace("\n","")
    return title, aminoacid_sequence
MiniQuark
источник
Определенно самый простой способ, если бы был только один, и его можно использовать и с другими, если добавить еще немного логики. Однако в этом конкретном наборе данных около 885 белков, и я чувствовал, что регулярное выражение должно справиться с этим.
янв., В
4

найти:

^>([^\n\r]+)[\n\r]([A-Z\n\r]+)

\ 1 = некоторый_переменный_текст

\ 2 = строки всех CAPS

Изменить (доказательство того, что это работает):

text = """> some_Varying_TEXT

DSJFKDAFJKDAFJDSAKFJADSFLKDLAFKDSAF
GATACAACATAGGATACA
GGGGGAAAAAAAATTTTTTTTT
CCCCAAAA

> some_Varying_TEXT2

DJASDFHKJFHKSDHF
HHASGDFTERYTERE
GAGAGAGAGAG
PPPPPAAAAAAAAAAAAAAAP
"""

import re

regex = re.compile(r'^>([^\n\r]+)[\n\r]([A-Z\n\r]+)', re.MULTILINE)
matches = [m.groups() for m in regex.finditer(text)]

for m in matches:
    print 'Name: %s\nSequence:%s' % (m[0], m[1])
Джейсон Кун
источник
К сожалению, это регулярное выражение также будет соответствовать группам заглавных букв, разделенных пустыми строками. Хотя это может не иметь большого значения.
MiniQuark
Похоже, coonj любит файлы FASTA. ;)
Эндрю Далк
4

Ниже приводится регулярное выражение, соответствующее многострочному блоку текста:

import re
result = re.findall('(startText)(.+)((?:\n.+)+)(endText)',input)
Пуннеруд
источник
1

Мои предпочтения.

lineIter= iter(aFile)
for line in lineIter:
    if line.startswith( ">" ):
         someVaryingText= line
         break
assert len( lineIter.next().strip() ) == 0
acids= []
for line in lineIter:
    if len(line.strip()) == 0:
        break
    acids.append( line )

На данный момент у вас есть someVaryingText в виде строки и кислоты в виде списка строк. Можно вообще "".join( acids )сделать одну струну.

Я считаю это менее неприятным (и более гибким), чем многострочные регулярные выражения.

С.Лотт
источник