Извлечение текста из файла HTML с использованием Python

243

Я хотел бы извлечь текст из файла HTML, используя Python. По сути, я хочу получить такой же вывод, как если бы я скопировал текст из браузера и вставил его в блокнот.

Я хотел бы что-то более надежное, чем использование регулярных выражений, которые могут не работать на плохо сформированном HTML. Я видел, как многие люди рекомендуют Beautiful Soup, но у меня было несколько проблем с его использованием. С одной стороны, он поднял нежелательный текст, такой как источник JavaScript. Кроме того, он не интерпретирует HTML-сущности. Например, я ожидал бы & # 39; в исходном HTML-коде для преобразования в апостроф в тексте, как если бы я вставил содержимое браузера в блокнот.

Обновление html2text выглядит многообещающе. Он правильно обрабатывает HTML-объекты и игнорирует JavaScript. Тем не менее, он точно не дает простой текст; он производит уценку, которая затем должна быть превращена в простой текст. Он не содержит примеров или документации, но код выглядит чистым.

Смежные вопросы:

python html text html-content-extraction Джон Д. Кук
источник

Какое-то время люди, кажется, находят мой ответ NLTK (совсем недавно) чрезвычайно полезным, поэтому вы можете подумать об изменении принятого ответа. Спасибо!

Шату

1

Я никогда не думал, что наткнулся на вопрос, заданный автором моего любимого блога! Стремление!

Райан Г

1

@Shatu Теперь, когда ваше решение перестало действовать, вы можете удалить свой комментарий. Спасибо! ;)

Снаđошƒаӽ

136

html2text - это программа на Python, которая хорошо справляется с этой задачей.

REXE
источник

5

немного это gpl 3.0, что означает, что это может быть несовместимо

frog32

138

Удивительный! Автор - RIP Аарон Шварц.

Атул Арвинд

2

Кто-нибудь нашел какие-либо альтернативы html2text из-за GPL 3.0?

Йонцай

1

GPL не так плох, как хотят люди. Аарон знал лучше.

Стив К

2

Я пробовал оба html2text и nltk, но они не работали для меня. Я закончил с Beautiful Soup 4, который прекрасно работает (без каламбура).

Райан

150

Лучший кусок кода, который я нашел для извлечения текста без получения JavaScript или ненужных вещей:

import urllib
from bs4 import BeautifulSoup

url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"
html = urllib.urlopen(url).read()
soup = BeautifulSoup(html)

# kill all script and style elements
for script in soup(["script", "style"]):
    script.extract()    # rip it out

# get text
text = soup.get_text()

# break into lines and remove leading and trailing space on each
lines = (line.strip() for line in text.splitlines())
# break multi-headlines into a line each
chunks = (phrase.strip() for line in lines for phrase in line.split("  "))
# drop blank lines
text = '\n'.join(chunk for chunk in chunks if chunk)

print(text)

Вам просто нужно установить BeautifulSoup до:

pip install beautifulsoup4

PeYoTlL
источник

2

Как, если мы хотим выбрать какую-то строку, просто сказал, строка № 3?

Гепидад

3

Сценарии убийств немного, спаситель !!

Нанда

2

Пройдя много ответов на вопросы stackoverflow, я чувствую, что это лучший вариант для меня. Одна проблема, с которой я столкнулся, это то, что в некоторых случаях строки добавлялись вместе. Я смог преодолеть это, добавив разделитель в функцию get_text:text = soup.get_text(separator=' ')

Joswin KJ

5

Вместо этого soup.get_text()я использовал soup.body.get_text(), чтобы я не получил никакого текста от <headэлемента>, такого как заголовок.

Sjoerd

10

Для Python 3,from urllib.request import urlopen

Джейкоб Калакал Джозеф

99

ПРИМЕЧАНИЕ: NTLK больше не поддерживаетclean_html функцию

Оригинальный ответ ниже и альтернатива в комментариях.

Используйте NLTK

Я потратил 4-5 часов на решение проблем с html2text. К счастью, я мог столкнуться с НЛТК.
Это работает волшебно.

import nltk   
from urllib import urlopen

url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"    
html = urlopen(url).read()    
raw = nltk.clean_html(html)  
print(raw)

Shatu
источник

8

иногда этого достаточно :)

Шармила

8

Я хочу проголосовать за это тысячу раз. Я застрял в аду регулярных выражений, но вот, теперь я вижу мудрость NLTK.

BenDundee

26

Очевидно, что clean_html больше не поддерживается: github.com/nltk/nltk/commit/…

alexanderlukanin13

5

импортировать тяжелую библиотеку типа nltk для такой простой задачи было бы слишком много

Ричи

54

@ alexanderlukanin13 Из источника:raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")

Крис Арена

54

Я столкнулся с той же проблемой сегодня. Я написал очень простой HTML-парсер для удаления входящего содержимого всех разметок, возвращая оставшийся текст с минимальным форматированием.

from HTMLParser import HTMLParser
from re import sub
from sys import stderr
from traceback import print_exc

class _DeHTMLParser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.__text = []

    def handle_data(self, data):
        text = data.strip()
        if len(text) > 0:
            text = sub('[ \t\r\n]+', ' ', text)
            self.__text.append(text + ' ')

    def handle_starttag(self, tag, attrs):
        if tag == 'p':
            self.__text.append('\n\n')
        elif tag == 'br':
            self.__text.append('\n')

    def handle_startendtag(self, tag, attrs):
        if tag == 'br':
            self.__text.append('\n\n')

    def text(self):
        return ''.join(self.__text).strip()


def dehtml(text):
    try:
        parser = _DeHTMLParser()
        parser.feed(text)
        parser.close()
        return parser.text()
    except:
        print_exc(file=stderr)
        return text


def main():
    text = r'''
        <html>
            <body>
                <b>Project:</b> DeHTML<br>
                <b>Description</b>:<br>
                This small script is intended to allow conversion from HTML markup to 
                plain text.
            </body>
        </html>
    '''
    print(dehtml(text))


if __name__ == '__main__':
    main()

xperroni
источник

5

Это кажется самым простым способом сделать это в Python (2.7), используя только модули по умолчанию. Что на самом деле глупо, так как это такая необходимая вещь, и нет веской причины, почему в модуле HTMLParser по умолчанию нет парсера для этого.

Ингмар Хапп,

2

Я не думаю, что будет преобразовывать HTML-символы в Unicode, верно? Например, &не будет преобразован в &, верно?

скоростной самолет

Для Python 3 используйтеfrom html.parser import HTMLParser

sebhaase

14

Вот вариант ответа Xperroni, который является более полным. Он пропускает разделы сценариев и стилей и переводит charrefs (например, & # 39;) и объекты HTML (например, & amp;).

Он также включает в себя тривиальный обратный конвертер простого текста в HTML.

"""
HTML <-> text conversions.
"""
from HTMLParser import HTMLParser, HTMLParseError
from htmlentitydefs import name2codepoint
import re

class _HTMLToText(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self._buf = []
        self.hide_output = False

    def handle_starttag(self, tag, attrs):
        if tag in ('p', 'br') and not self.hide_output:
            self._buf.append('\n')
        elif tag in ('script', 'style'):
            self.hide_output = True

    def handle_startendtag(self, tag, attrs):
        if tag == 'br':
            self._buf.append('\n')

    def handle_endtag(self, tag):
        if tag == 'p':
            self._buf.append('\n')
        elif tag in ('script', 'style'):
            self.hide_output = False

    def handle_data(self, text):
        if text and not self.hide_output:
            self._buf.append(re.sub(r'\s+', ' ', text))

    def handle_entityref(self, name):
        if name in name2codepoint and not self.hide_output:
            c = unichr(name2codepoint[name])
            self._buf.append(c)

    def handle_charref(self, name):
        if not self.hide_output:
            n = int(name[1:], 16) if name.startswith('x') else int(name)
            self._buf.append(unichr(n))

    def get_text(self):
        return re.sub(r' +', ' ', ''.join(self._buf))

def html_to_text(html):
    """
    Given a piece of HTML, return the plain text it contains.
    This handles entities and char refs, but not javascript and stylesheets.
    """
    parser = _HTMLToText()
    try:
        parser.feed(html)
        parser.close()
    except HTMLParseError:
        pass
    return parser.get_text()

def text_to_html(text):
    """
    Convert the given text to html, wrapping what looks like URLs with <a> tags,
    converting newlines to <br> tags and converting confusing chars into html
    entities.
    """
    def f(mo):
        t = mo.group()
        if len(t) == 1:
            return {'&':'&amp;', "'":'&#39;', '"':'&quot;', '<':'&lt;', '>':'&gt;'}.get(t)
        return '<a href="%s">%s</a>' % (t, t)
    return re.sub(r'https?://[^] ()"\';]+|[&\'"<>]', f, text)

bit4
источник

Версия Python 3: gist.github.com/Crazometer/af441bc7dc7353d41390a59f20f07b51

Crazometer

В get_text '.join должен быть' '.join. Там должно быть пустое место, иначе некоторые тексты будут объединены.

Обинна Нненанья

1

Кроме того, это не будет перехватывать ВСЕ тексты, за исключением того, что вы включаете другие теги текстового контейнера, такие как H1, H2 ...., span и т. Д. Мне пришлось настроить его для лучшего покрытия.

Обинна Нненанья

11

Я знаю, что ответов уже много, но наиболее изящное и питонное решение, которое я нашел, частично описано здесь .

from bs4 import BeautifulSoup

text = ''.join(BeautifulSoup(some_html_string, "html.parser").findAll(text=True))

Обновить

Основываясь на комментарии Фрейзера, вот более элегантное решение:

from bs4 import BeautifulSoup

clean_text = ''.join(BeautifulSoup(some_html_string, "html.parser").stripped_strings)

Floyd
источник

2

Чтобы избежать предупреждения, укажите синтаксический анализатор для BeautifulSoup, чтобы использовать:text = ''.join(BeautifulSoup(some_html_string, "lxml").findAll(text=True))

Floyd

Вы можете использовать генератор stripped_strings, чтобы избежать чрезмерного пробела - то естьclean_text = ''.join(BeautifulSoup(some_html_string, "html.parser").stripped_strings

Fraser

8

Вы также можете использовать метод html2text в библиотеке стрипограмм.

from stripogram import html2text
text = html2text(your_html_string)

Для установки стрипограммы запустите sudo easy_install stripogram

GeekTantra
источник

23

Этот модуль, согласно его странице pypi , устарел: «Если у вас нет какой-либо исторической причины для использования этого пакета, я бы посоветовал против него!»

интуитивно

7

Есть библиотека шаблонов для интеллектуального анализа данных.

http://www.clips.ua.ac.be/pages/pattern-web

Вы даже можете решить, какие теги оставить:

s = URL('http://www.clips.ua.ac.be').download()
s = plaintext(s, keep={'h1':[], 'h2':[], 'strong':[], 'a':['href']})
print s

Nuncjo
источник

6

PyParsing делает отличную работу. Вики PyParsing была убита, так что вот еще одно место, где есть примеры использования PyParsing ( пример ссылки ). Одна из причин, по которой стоит потратить немного времени на pyparsing, заключается в том, что он также написал очень краткое, очень хорошо организованное руководство по сокращенному использованию O'Reilly, которое также недорогое.

Сказав это, я часто использую BeautifulSoup, и это не так сложно для решения проблем сущностей, вы можете преобразовать их, прежде чем запустить BeautifulSoup.

Удачи

PyNEwbie
источник

1

Ссылка мертвая или испорченная.

Иветт

4

Это не совсем решение Python, но оно преобразует текст, сгенерированный Javascript, в текст, что я считаю важным (например, google.com). Ссылки браузера (не Lynx) имеют движок Javascript и преобразуют источник в текст с опцией -dump.

Таким образом, вы можете сделать что-то вроде:

fname = os.tmpnam()
fname.write(html_source)
proc = subprocess.Popen(['links', '-dump', fname], 
                        stdout=subprocess.PIPE,
                        stderr=open('/dev/null','w'))
text = proc.stdout.read()

Андрей
источник

4

Вместо модуля HTMLParser, проверьте htmllib. У него похожий интерфейс, но он делает больше за вас. (Он довольно древний, поэтому он не очень помогает с точки зрения избавления от javascript и css. Вы можете создать производный класс, но и добавить методы с именами, такими как start_script и end_style (подробности см. В документации по python), но это сложно чтобы сделать это надежно для искаженного HTML.) В любом случае, вот что-то простое, что печатает простой текст на консоли

from htmllib import HTMLParser, HTMLParseError
from formatter import AbstractFormatter, DumbWriter
p = HTMLParser(AbstractFormatter(DumbWriter()))
try: p.feed('hello<br>there'); p.close() #calling close is not usually needed, but let's play it safe
except HTMLParseError: print ':(' #the html is badly malformed (or you found a bug)

отметка
источник

Примечание: HTMLError и HTMLParserError должны оба читать HTMLParseError. Это работает, но плохо переносит разрывы строк.

Дейв Найт

4

Я рекомендую пакет Python под названием goose-extractor Goose попытается извлечь следующую информацию:

Основной текст статьи Главное изображение статьи Любые фильмы Youtube / Vimeo, встроенные в статью Мета-теги Описание Мета-теги

Подробнее: https://pypi.python.org/pypi/goose-extractor/

Ли Инцзюнь
источник

4

если вам нужна большая скорость и меньшая точность, вы можете использовать raw lxml.

import lxml.html as lh
from lxml.html.clean import clean_html

def lxml_to_text(html):
    doc = lh.fromstring(html)
    doc = clean_html(doc)
    return doc.text_content()

Антон Шелин
источник

4

установить html2text используя

pip install html2text

затем,

>>> import html2text
>>>
>>> h = html2text.HTML2Text()
>>> # Ignore converting links from HTML
>>> h.ignore_links = True
>>> print h.handle("<p>Hello, <a href='http://earth.google.com/'>world</a>!")
Hello, world!

Правита V
источник

4

Я знаю, что здесь уже есть множество ответов, но я думаю, что magazine3k также заслуживает упоминания. Недавно мне нужно было выполнить аналогичную задачу по извлечению текста из статей в Интернете, и эта библиотека отлично справилась с этой задачей в своих тестах. Он игнорирует текст, найденный в пунктах меню и боковых панелях, а также любой JavaScript, который появляется на странице по запросу OP.

from newspaper import Article

article = Article(url)
article.download()
article.parse()
article.text

Если у вас уже есть загруженные файлы HTML, вы можете сделать что-то вроде этого:

article = Article('')
article.set_html(html)
article.parse()
article.text

В нем даже есть несколько функций НЛП для обобщения тем статей:

article.nlp()
article.summary

spatel4140
источник

3

Красивый суп превращает HTML-сущности. Вероятно, это ваш лучший выбор, учитывая, что HTML часто содержит ошибки и полон проблем с кодировкой Unicode и HTML. Это код, который я использую для преобразования HTML в необработанный текст:

import BeautifulSoup
def getsoup(data, to_unicode=False):
    data = data.replace("&nbsp;", " ")
    # Fixes for bad markup I've seen in the wild.  Remove if not applicable.
    masssage_bad_comments = [
        (re.compile('<!-([^-])'), lambda match: '<!--' + match.group(1)),
        (re.compile('<!WWWAnswer T[=\w\d\s]*>'), lambda match: '<!--' + match.group(0) + '-->'),
    ]
    myNewMassage = copy.copy(BeautifulSoup.BeautifulSoup.MARKUP_MASSAGE)
    myNewMassage.extend(masssage_bad_comments)
    return BeautifulSoup.BeautifulSoup(data, markupMassage=myNewMassage,
        convertEntities=BeautifulSoup.BeautifulSoup.ALL_ENTITIES 
                    if to_unicode else None)

remove_html = lambda c: getsoup(c, to_unicode=True).getText(separator=u' ') if c else ""

speedplane
источник

3

Другой вариант - запустить html через текстовый веб-браузер и выгрузить его. Например (используя Lynx):

lynx -dump html_to_convert.html > converted_html.txt

Это можно сделать в скрипте Python следующим образом:

import subprocess

with open('converted_html.txt', 'w') as outputFile:
    subprocess.call(['lynx', '-dump', 'html_to_convert.html'], stdout=testFile)

Он не даст вам точно только текст из файла HTML, но в зависимости от вашего варианта использования он может быть предпочтительнее, чем вывод html2text.

Джон Лукас
источник

3

Лучше всего у меня работают надписи.

https://github.com/weblyzard/inscriptis

import urllib.request
from inscriptis import get_text

url = "http://www.informationscience.ch"
html = urllib.request.urlopen(url).read().decode('utf-8')

text = get_text(html)
print(text)

Результаты действительно хороши

напор
источник

2

Еще одно решение, отличное от Python: Libre Office:

soffice --headless --invisible --convert-to txt input1.html

Причина, по которой я предпочитаю этот вариант другим, заключается в том, что каждый абзац HTML преобразуется в одну текстовую строку (без разрывов строк), что я и искал. Другие методы требуют последующей обработки. Рысь дает хороший результат, но не совсем то, что я искал. Кроме того, Libre Office можно использовать для конвертации любых форматов ...

YakovK
источник

2

Кто-нибудь пробовал bleach.clean(html,tags=[],strip=True)с отбеливателем ? это работает для меня.

Rox
источник

Кажется, работает и для меня, но они не рекомендуют использовать его для этой цели: «Эта функция ориентирована на безопасность, единственной целью которой является удаление вредоносного контента из строки таким образом, чтобы он мог отображаться как контент в сети». страница «. -> bleach.readthedocs.io/en/latest/clean.html#bleach.clean

Loktopus

2

У меня были хорошие результаты с Apache Tika . Его целью является извлечение метаданных и текста из содержимого, поэтому соответствующий синтаксический анализатор настраивается соответствующим образом из коробки.

Tika может быть запущена как сервер , тривиально запустить / развернуть в контейнере Docker, и оттуда можно получить доступ через привязки Python .

U-фория
источник

1

простым способом

import re

html_text = open('html_file.html').read()
text_filtered = re.sub(r'<(.*?)>', '', html_text)

этот код находит все части html_text, начинающиеся с '<' и заканчивающиеся '>', и заменяет все найденные пустой строкой

Давид Фрага
источник

1

Ответ @ PeYoTIL, использующий BeautifulSoup и исключающий стиль и содержание скриптов, не сработал для меня. Я попробовал, используя decomposeвместо, extractно он все еще не работал. Поэтому я создал свой собственный, который также форматирует текст с использованием <p>тегов и заменяет <a>теги ссылкой href. Также справляется со ссылками внутри текста. Доступный в этой сущности со встроенным тестовым документом.

from bs4 import BeautifulSoup, NavigableString

def html_to_text(html):
    "Creates a formatted text email message as a string from a rendered html template (page)"
    soup = BeautifulSoup(html, 'html.parser')
    # Ignore anything in head
    body, text = soup.body, []
    for element in body.descendants:
        # We use type and not isinstance since comments, cdata, etc are subclasses that we don't want
        if type(element) == NavigableString:
            # We use the assumption that other tags can't be inside a script or style
            if element.parent.name in ('script', 'style'):
                continue

            # remove any multiple and leading/trailing whitespace
            string = ' '.join(element.string.split())
            if string:
                if element.parent.name == 'a':
                    a_tag = element.parent
                    # replace link text with the link
                    string = a_tag['href']
                    # concatenate with any non-empty immediately previous string
                    if (    type(a_tag.previous_sibling) == NavigableString and
                            a_tag.previous_sibling.string.strip() ):
                        text[-1] = text[-1] + ' ' + string
                        continue
                elif element.previous_sibling and element.previous_sibling.name == 'a':
                    text[-1] = text[-1] + ' ' + string
                    continue
                elif element.parent.name == 'p':
                    # Add extra paragraph formatting newline
                    string = '\n' + string
                text += [string]
    doc = '\n'.join(text)
    return doc

racitup
источник

1

Спасибо, этот ответ недооценен. Для тех из нас, кто хочет иметь чистое текстовое представление, которое ведет себя больше как браузер (игнорируя переводы строки и принимая во внимание только абзацы и разрывы строк), BeautifulSoup get_textпросто не сокращает его.

Судебный процесс

@jrial рад, что вы нашли это полезным, также спасибо за вклад. Для кого-то еще, суть была значительно улучшена. Похоже, что OP ссылается на инструмент, который переводит html в текст, очень похожий на текстовый браузер, такой как lynx. Вот что пытается это решение. Большинство людей вносят свой вклад - это просто экстракторы текста.

racitup

1

В Python 3.x вы можете сделать это очень просто, импортировав пакеты 'imaplib' и 'email'. Хотя это старый пост, но, возможно, мой ответ может помочь новичкам в этом посте.

status, data = self.imap.fetch(num, '(RFC822)')
email_msg = email.message_from_bytes(data[0][1]) 
#email.message_from_string(data[0][1])

#If message is multi part we only want the text version of the body, this walks the message and gets the body.

if email_msg.is_multipart():
    for part in email_msg.walk():       
        if part.get_content_type() == "text/plain":
            body = part.get_payload(decode=True) #to control automatic email-style MIME decoding (e.g., Base64, uuencode, quoted-printable)
            body = body.decode()
        elif part.get_content_type() == "text/html":
            continue

Теперь вы можете напечатать переменную тела, и она будет в текстовом формате :) Если это достаточно хорошо для вас, было бы неплохо выбрать ее в качестве принятого ответа.

Вахиб Ул Хак
источник

Это ничего не конвертирует .

Антти Хаапала

1

Здесь показано, как извлечь text/plainчасть из электронного письма, если кто-то другой поместил ее туда. Он не делает ничего, чтобы преобразовать HTML в открытый текст, и ничего не делает удаленно, если вы пытаетесь конвертировать HTML, скажем, с веб-сайта.

tripleee

1

Вы можете извлечь только текст из HTML с BeautifulSoup

url = "https://www.geeksforgeeks.org/extracting-email-addresses-using-regular-expressions-python/"
con = urlopen(url).read()
soup = BeautifulSoup(con,'html.parser')
texts = soup.get_text()
print(texts)

Саи Гопи Н
источник

1

Хотя многие люди упоминали об использовании регулярных выражений для удаления тегов HTML, есть много минусов.

например:

<p>hello&nbsp;world</p>I love you

Должен быть проанализирован для:

Hello world
I love you

Вот фрагмент, который я придумал, вы можете адаптировать его к вашим конкретным потребностям, и он работает как шарм

import re
import html
def html2text(htm):
    ret = html.unescape(htm)
    ret = ret.translate({
        8209: ord('-'),
        8220: ord('"'),
        8221: ord('"'),
        160: ord(' '),
    })
    ret = re.sub(r"\s", " ", ret, flags = re.MULTILINE)
    ret = re.sub("<br>|<br />|</p>|</div>|</h\d>", "\n", ret, flags = re.IGNORECASE)
    ret = re.sub('<.*?>', ' ', ret, flags=re.DOTALL)
    ret = re.sub(r"  +", " ", ret)
    return ret

Ури Горен
источник

1

Другой пример использования BeautifulSoup4 в Python 2.7.9+

включает:

import urllib2
from bs4 import BeautifulSoup

Код:

def read_website_to_text(url):
    page = urllib2.urlopen(url)
    soup = BeautifulSoup(page, 'html.parser')
    for script in soup(["script", "style"]):
        script.extract() 
    text = soup.get_text()
    lines = (line.strip() for line in text.splitlines())
    chunks = (phrase.strip() for line in lines for phrase in line.split("  "))
    text = '\n'.join(chunk for chunk in chunks if chunk)
    return str(text.encode('utf-8'))

Разъяснение:

Считайте данные URL как html (используя BeautifulSoup), удалите все элементы скрипта и стиля, а также получите только текст, используя .get_text (). Разбивать на строки и удалять начальные и конечные пробелы в каждом, а затем разбивать заголовки с несколькими заголовками на строки, каждый чанк = (фраза.strip () для строки в строках для фразы в строке.split ("")). Затем с помощью text = '\ n'.join удалите пустые строки и, наконец, вернитесь как санкционированный utf-8.

Ноты:

В некоторых системах, на которых это работает, произойдет сбой соединения https: // из-за проблемы SSL, вы можете отключить проверку, чтобы устранить эту проблему. Пример исправления: http://blog.pengyifan.com/how-to-fix-python-ssl-certificate_verify_failed/
Python <2.7.9 может иметь некоторые проблемы с этим
text.encode ('utf-8') может оставить странную кодировку, вместо этого может потребоваться просто вернуть str (text).

Майк Q
источник

0

Вот код, который я использую на регулярной основе.

from bs4 import BeautifulSoup
import urllib.request


def processText(webpage):

    # EMPTY LIST TO STORE PROCESSED TEXT
    proc_text = []

    try:
        news_open = urllib.request.urlopen(webpage.group())
        news_soup = BeautifulSoup(news_open, "lxml")
        news_para = news_soup.find_all("p", text = True)

        for item in news_para:
            # SPLIT WORDS, JOIN WORDS TO REMOVE EXTRA SPACES
            para_text = (' ').join((item.text).split())

            # COMBINE LINES/PARAGRAPHS INTO A LIST
            proc_text.append(para_text)

    except urllib.error.HTTPError:
        pass

    return proc_text

Надеюсь, это поможет.

troymyname00
источник

0

Комментарий автора LibreOffice имеет свои достоинства, поскольку приложение может использовать макросы Python. Похоже, что он дает множество преимуществ как для ответа на этот вопрос, так и для расширения базы макросов LibreOffice. Если это разрешение является одноразовой реализацией, а не для использования в качестве части большой производственной программы, открытие HTML в Writer и сохранение страницы в виде текста, похоже, решит проблемы, обсуждаемые здесь.

1of7
источник

0

Perl way (извини мама, я никогда не буду делать это в производстве).

import re

def html2text(html):
    res = re.sub('<.*?>', ' ', html, flags=re.DOTALL | re.MULTILINE)
    res = re.sub('\n+', '\n', res)
    res = re.sub('\r+', '', res)
    res = re.sub('[\t ]+', ' ', res)
    res = re.sub('\t+', '\t', res)
    res = re.sub('(\n )+', '\n ', res)
    return res

brunql
источник

Например, это плохая практика по многим причинам 

Ури Горен

Да! Это так! Не делай этого вообще!

Brunql

Извлечение текста из файла HTML с использованием Python

Ответы:

Обновить