Как сохранить разрывы строк при использовании jsoup для преобразования HTML в обычный текст?

Question 1

У меня такой код:

 public class NewClass {
     public String noTags(String str){
         return Jsoup.parse(str).text();
     }


     public static void main(String args[]) {
         String strings="<!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN \">" +
         "<HTML> <HEAD> <TITLE></TITLE> <style>body{ font-size: 12px;font-family: verdana, arial, helvetica, sans-serif;}</style> </HEAD> <BODY><p><b>hello world</b></p><p><br><b>yo</b> <a href=\"http://google.com\">googlez</a></p></BODY> </HTML> ";

         NewClass text = new NewClass();
         System.out.println((text.noTags(strings)));
}

И вот результат:

hello world yo googlez

Но я хочу прервать черту:

hello world
yo googlez

Я просмотрел TextNode # getWholeText () jsoup, но не могу понять, как его использовать.

Если <br>в разметке, которую я анализирую, есть символ, как я могу получить разрыв строки в моем конечном результате?

Question 2

Настоящее решение, сохраняющее разрывы строк, должно быть таким:

public static String br2nl(String html) {
    if(html==null)
        return html;
    Document document = Jsoup.parse(html);
    document.outputSettings(new Document.OutputSettings().prettyPrint(false));//makes html() preserve linebreaks and spacing
    document.select("br").append("\\n");
    document.select("p").prepend("\\n\\n");
    String s = document.html().replaceAll("\\\\n", "\n");
    return Jsoup.clean(s, "", Whitelist.none(), new Document.OutputSettings().prettyPrint(false));
}

Он удовлетворяет следующим требованиям:

если исходный html содержит новую строку (\ n), он сохраняется
если исходный html содержит теги br или p, они переводятся в новую строку (\ n).

Question 3

Jsoup.clean(unsafeString, "", Whitelist.none(), new OutputSettings().prettyPrint(false));

Мы используем этот метод здесь:

public static String clean(String bodyHtml,
                       String baseUri,
                       Whitelist whitelist,
                       Document.OutputSettings outputSettings)

Передавая его, Whitelist.none()мы убеждаемся, что весь HTML удален.

Пройдя, new OutputSettings().prettyPrint(false)мы убеждаемся, что вывод не переформатируется, а разрывы строк сохраняются.

Question 4

С участием

Jsoup.parse("A\nB").text();

у вас есть выход

"A B"

и нет

A

B

Для этого я использую:

descrizione = Jsoup.parse(html.replaceAll("(?i)<br[^>]*>", "br2n")).text();
text = descrizione.replaceAll("br2n", "\n");

Question 5

Попробуйте это с помощью jsoup:

public static String cleanPreserveLineBreaks(String bodyHtml) {

    // get pretty printed html with preserved br and p tags
    String prettyPrintedBodyFragment = Jsoup.clean(bodyHtml, "", Whitelist.none().addTags("br", "p"), new OutputSettings().prettyPrint(true));
    // get plain text with preserved line breaks by disabled prettyPrint
    return Jsoup.clean(prettyPrintedBodyFragment, "", Whitelist.none(), new OutputSettings().prettyPrint(false));
}

Question 6

В Jsoup v1.11.2 теперь мы можем использовать Element.wholeText().

Пример кода:

String cleanString = Jsoup.parse(htmlString).wholeText();

user121196's ответ по- прежнему работает. Но wholeText()сохраняет выравнивание текстов.

Question 7

Для более сложного HTML ни одно из вышеперечисленных решений не сработало должным образом; Мне удалось успешно выполнить преобразование, сохранив разрывы строк:

Document document = Jsoup.parse(myHtml);
String text = new HtmlToPlainText().getPlainText(document);

(версия 1.10.3)

Question 8

Вы можете перемещаться по заданному элементу

public String convertNodeToText(Element element)
{
    final StringBuilder buffer = new StringBuilder();

    new NodeTraversor(new NodeVisitor() {
        boolean isNewline = true;

        @Override
        public void head(Node node, int depth) {
            if (node instanceof TextNode) {
                TextNode textNode = (TextNode) node;
                String text = textNode.text().replace('\u00A0', ' ').trim();                    
                if(!text.isEmpty())
                {                        
                    buffer.append(text);
                    isNewline = false;
                }
            } else if (node instanceof Element) {
                Element element = (Element) node;
                if (!isNewline)
                {
                    if((element.isBlock() || element.tagName().equals("br")))
                    {
                        buffer.append("\n");
                        isNewline = true;
                    }
                }
            }                
        }

        @Override
        public void tail(Node node, int depth) {                
        }                        
    }).traverse(element);        

    return buffer.toString();               
}

И для вашего кода

String result = convertNodeToText(JSoup.parse(html))

Question 9

text = Jsoup.parse(html.replaceAll("(?i)<br[^>]*>", "br2n")).text();
text = descrizione.replaceAll("br2n", "\n");

работает, если сам html не содержит "br2n"

Так,

text = Jsoup.parse(html.replaceAll("(?i)<br[^>]*>", "<pre>\n</pre>")).text();

работает надежнее и проще.

Question 10

Попробуйте это с помощью jsoup:

    doc.outputSettings(new OutputSettings().prettyPrint(false));

    //select all <br> tags and append \n after that
    doc.select("br").after("\\n");

    //select all <p> tags and prepend \n before that
    doc.select("p").before("\\n");

    //get the HTML from the document, and retaining original new lines
    String str = doc.html().replaceAll("\\\\n", "\n");

Question 11

Используйте textNodes()для получения списка текстовых узлов. Затем объедините их \nкак разделитель. Вот некоторый код Scala, который я использую для этого, порт java должен быть простым:

val rawTxt = doc.body().getElementsByTag("div").first.textNodes()
                    .asScala.mkString("<br />\n")

Question 12

Основываясь на других ответах и комментариях по этому вопросу, кажется, что большинство людей, приходящих сюда, действительно ищут общее решение, которое обеспечит красиво отформатированное текстовое представление HTML-документа. Я знаю, что был.

К счастью, JSoup уже предоставляет довольно исчерпывающий пример того, как этого добиться: HtmlToPlainText.java

Пример FormattingVisitor можно легко настроить в соответствии с вашими предпочтениями, и он касается большинства блочных элементов и переноса строк.

Чтобы избежать гниения ссылок, вот полное решение Джонатана Хедли :

package org.jsoup.examples;

import org.jsoup.Jsoup;
import org.jsoup.helper.StringUtil;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.nodes.Node;
import org.jsoup.nodes.TextNode;
import org.jsoup.select.Elements;
import org.jsoup.select.NodeTraversor;
import org.jsoup.select.NodeVisitor;

import java.io.IOException;

/**
 * HTML to plain-text. This example program demonstrates the use of jsoup to convert HTML input to lightly-formatted
 * plain-text. That is divergent from the general goal of jsoup's .text() methods, which is to get clean data from a
 * scrape.
 * <p>
 * Note that this is a fairly simplistic formatter -- for real world use you'll want to embrace and extend.
 * </p>
 * <p>
 * To invoke from the command line, assuming you've downloaded the jsoup jar to your current directory:</p>
 * <p><code>java -cp jsoup.jar org.jsoup.examples.HtmlToPlainText url [selector]</code></p>
 * where <i>url</i> is the URL to fetch, and <i>selector</i> is an optional CSS selector.
 * 
 * @author Jonathan Hedley, jonathan@hedley.net
 */
public class HtmlToPlainText {
    private static final String userAgent = "Mozilla/5.0 (jsoup)";
    private static final int timeout = 5 * 1000;

    public static void main(String... args) throws IOException {
        Validate.isTrue(args.length == 1 || args.length == 2, "usage: java -cp jsoup.jar org.jsoup.examples.HtmlToPlainText url [selector]");
        final String url = args[0];
        final String selector = args.length == 2 ? args[1] : null;

        // fetch the specified URL and parse to a HTML DOM
        Document doc = Jsoup.connect(url).userAgent(userAgent).timeout(timeout).get();

        HtmlToPlainText formatter = new HtmlToPlainText();

        if (selector != null) {
            Elements elements = doc.select(selector); // get each element that matches the CSS selector
            for (Element element : elements) {
                String plainText = formatter.getPlainText(element); // format that element to plain text
                System.out.println(plainText);
            }
        } else { // format the whole doc
            String plainText = formatter.getPlainText(doc);
            System.out.println(plainText);
        }
    }

    /**
     * Format an Element to plain-text
     * @param element the root element to format
     * @return formatted text
     */
    public String getPlainText(Element element) {
        FormattingVisitor formatter = new FormattingVisitor();
        NodeTraversor traversor = new NodeTraversor(formatter);
        traversor.traverse(element); // walk the DOM, and call .head() and .tail() for each node

        return formatter.toString();
    }

    // the formatting rules, implemented in a breadth-first DOM traverse
    private class FormattingVisitor implements NodeVisitor {
        private static final int maxWidth = 80;
        private int width = 0;
        private StringBuilder accum = new StringBuilder(); // holds the accumulated text

        // hit when the node is first seen
        public void head(Node node, int depth) {
            String name = node.nodeName();
            if (node instanceof TextNode)
                append(((TextNode) node).text()); // TextNodes carry all user-readable text in the DOM.
            else if (name.equals("li"))
                append("\n * ");
            else if (name.equals("dt"))
                append("  ");
            else if (StringUtil.in(name, "p", "h1", "h2", "h3", "h4", "h5", "tr"))
                append("\n");
        }

        // hit when all of the node's children (if any) have been visited
        public void tail(Node node, int depth) {
            String name = node.nodeName();
            if (StringUtil.in(name, "br", "dd", "dt", "p", "h1", "h2", "h3", "h4", "h5"))
                append("\n");
            else if (name.equals("a"))
                append(String.format(" <%s>", node.absUrl("href")));
        }

        // appends text to the string builder with a simple word wrap method
        private void append(String text) {
            if (text.startsWith("\n"))
                width = 0; // reset counter if starts with a newline. only from formats above, not in natural text
            if (text.equals(" ") &&
                    (accum.length() == 0 || StringUtil.in(accum.substring(accum.length() - 1), " ", "\n")))
                return; // don't accumulate long runs of empty spaces

            if (text.length() + width > maxWidth) { // won't fit, needs to wrap
                String words[] = text.split("\\s+");
                for (int i = 0; i < words.length; i++) {
                    String word = words[i];
                    boolean last = i == words.length - 1;
                    if (!last) // insert a space if not the last word
                        word = word + " ";
                    if (word.length() + width > maxWidth) { // wrap and reset counter
                        accum.append("\n").append(word);
                        width = word.length();
                    } else {
                        accum.append(word);
                        width += word.length();
                    }
                }
            } else { // fits as is, without need to wrap text
                accum.append(text);
                width += text.length();
            }
        }

        @Override
        public String toString() {
            return accum.toString();
        }
    }
}

Question 13

Это моя версия перевода html в текст (на самом деле модифицированная версия ответа user121196).

Это не только сохраняет разрывы строк, но также форматирует текст и удаляет лишние разрывы строк, escape-символы HTML, и вы получите гораздо лучший результат от своего HTML (в моем случае я получаю его по почте).

Первоначально он написан на Scala, но вы можете легко изменить его на Java.

def html2text( rawHtml : String ) : String = {

    val htmlDoc = Jsoup.parseBodyFragment( rawHtml, "/" )
    htmlDoc.select("br").append("\\nl")
    htmlDoc.select("div").prepend("\\nl").append("\\nl")
    htmlDoc.select("p").prepend("\\nl\\nl").append("\\nl\\nl")

    org.jsoup.parser.Parser.unescapeEntities(
        Jsoup.clean(
          htmlDoc.html(),
          "",
          Whitelist.none(),
          new org.jsoup.nodes.Document.OutputSettings().prettyPrint(true)
        ),false
    ).
    replaceAll("\\\\nl", "\n").
    replaceAll("\r","").
    replaceAll("\n\\s+\n","\n").
    replaceAll("\n\n+","\n\n").     
    trim()      
}

Question 14

Попробуй это:

public String noTags(String str){
    Document d = Jsoup.parse(str);
    TextNode tn = new TextNode(d.body().html(), "");
    return tn.getWholeText();
}

Question 15

/**
 * Recursive method to replace html br with java \n. The recursive method ensures that the linebreaker can never end up pre-existing in the text being replaced.
 * @param html
 * @param linebreakerString
 * @return the html as String with proper java newlines instead of br
 */
public static String replaceBrWithNewLine(String html, String linebreakerString){
    String result = "";
    if(html.contains(linebreakerString)){
        result = replaceBrWithNewLine(html, linebreakerString+"1");
    } else {
        result = Jsoup.parse(html.replaceAll("(?i)<br[^>]*>", linebreakerString)).text(); // replace and html line breaks with java linebreak.
        result = result.replaceAll(linebreakerString, "\n");
    }
    return result;
}

Используется путем вызова с рассматриваемым html, содержащим br, вместе с любой строкой, которую вы хотите использовать в качестве временного заполнителя новой строки. Например:

replaceBrWithNewLine(element.html(), "br2n")

Рекурсия гарантирует, что строка, которую вы используете в качестве заполнителя новой строки / разрыва строки, никогда не будет на самом деле в исходном html, так как она будет продолжать добавлять «1» до тех пор, пока строка-заполнитель прерывателя ссылок не будет найдена в HTML. У него не будет проблем с форматированием, с которыми, похоже, сталкиваются методы Jsoup.clean со специальными символами.

Question 16

Основываясь на ответе user121196 и Green Beret с selects и <pre>s, единственное решение, которое работает для меня:

org.jsoup.nodes.Element elementWithHtml = ....
elementWithHtml.select("br").append("<pre>\n</pre>");
elementWithHtml.select("p").prepend("<pre>\n\n</pre>");
elementWithHtml.text();

Answer 1

У меня такой код:

 public class NewClass {
     public String noTags(String str){
         return Jsoup.parse(str).text();
     }


     public static void main(String args[]) {
         String strings="<!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN \">" +
         "<HTML> <HEAD> <TITLE></TITLE> <style>body{ font-size: 12px;font-family: verdana, arial, helvetica, sans-serif;}</style> </HEAD> <BODY><p><b>hello world</b></p><p><br><b>yo</b> <a href=\"http://google.com\">googlez</a></p></BODY> </HTML> ";

         NewClass text = new NewClass();
         System.out.println((text.noTags(strings)));
}

И вот результат:

hello world yo googlez

Но я хочу прервать черту:

hello world
yo googlez

Я просмотрел TextNode # getWholeText () jsoup, но не могу понять, как его использовать.

Если <br>в разметке, которую я анализирую, есть символ, как я могу получить разрыв строки в моем конечном результате?

Answer 2

отредактируйте текст - в вашем вопросе не отображается разрыв строки. В общем, пожалуйста, прочтите предварительный просмотр вашего вопроса перед тем, как публиковать его, чтобы убедиться, что все отображается правильно.

Робин Грин,

Answer 3

Я задал тот же вопрос (без требования jsoup), но у меня все еще нет хорошего решения: stackoverflow.com/questions/2513707/…

Эдуардо

Answer 4

см. ответ @zeenosaur.

Jang-Ho Bae

Answer 5

102

Настоящее решение, сохраняющее разрывы строк, должно быть таким:

public static String br2nl(String html) {
    if(html==null)
        return html;
    Document document = Jsoup.parse(html);
    document.outputSettings(new Document.OutputSettings().prettyPrint(false));//makes html() preserve linebreaks and spacing
    document.select("br").append("\\n");
    document.select("p").prepend("\\n\\n");
    String s = document.html().replaceAll("\\\\n", "\n");
    return Jsoup.clean(s, "", Whitelist.none(), new Document.OutputSettings().prettyPrint(false));
}

Он удовлетворяет следующим требованиям:

если исходный html содержит новую строку (\ n), он сохраняется
если исходный html содержит теги br или p, они переводятся в новую строку (\ n).

user121196
источник

5

Это должен быть выбранный ответ

duy

2

br2nl - не самое подходящее или точное название метода

DD.

2

Это лучший ответ. Но как насчет for (Element e : document.select("br")) e.after(new TextNode("\n", ""));добавления настоящей новой строки, а не последовательности \ n? См. Различия в Node :: after () и Elements :: append () . В replaceAll()этом случае не требуется. Аналогично p и другим блочным элементам.

user2043553 01

1

Ответ @ user121196 должен быть выбранным ответом. Если у вас все еще есть объекты HTML после очистки входного HTML, примените StringEscapeUtils.unescapeHtml (...) Apache commons к выходным данным из Jsoup clean.

karth500

6

См. Github.com/jhy/jsoup/blob/master/src/main/java/org/jsoup/… для исчерпывающего ответа на эту проблему.

Малкольм Смит

Answer 6

5

Это должен быть выбранный ответ

duy

Answer 7

2

br2nl - не самое подходящее или точное название метода

DD.

Answer 8

2

Это лучший ответ. Но как насчет for (Element e : document.select("br")) e.after(new TextNode("\n", ""));добавления настоящей новой строки, а не последовательности \ n? См. Различия в Node :: after () и Elements :: append () . В replaceAll()этом случае не требуется. Аналогично p и другим блочным элементам.

user2043553 01

Answer 9

1

Ответ @ user121196 должен быть выбранным ответом. Если у вас все еще есть объекты HTML после очистки входного HTML, примените StringEscapeUtils.unescapeHtml (...) Apache commons к выходным данным из Jsoup clean.

karth500

Answer 10

6

См. Github.com/jhy/jsoup/blob/master/src/main/java/org/jsoup/… для исчерпывающего ответа на эту проблему.

Малкольм Смит

Answer 11

44

Jsoup.clean(unsafeString, "", Whitelist.none(), new OutputSettings().prettyPrint(false));

Мы используем этот метод здесь:

public static String clean(String bodyHtml,
                       String baseUri,
                       Whitelist whitelist,
                       Document.OutputSettings outputSettings)

Передавая его, Whitelist.none()мы убеждаемся, что весь HTML удален.

Пройдя, new OutputSettings().prettyPrint(false)мы убеждаемся, что вывод не переформатируется, а разрывы строк сохраняются.

Паулюс З
источник

Это должен быть единственно правильный ответ. Все остальные предполагают, что только brтеги создают новые строки. А как насчет любого другого блочного элемента в HTML, например div, pи ulт. Д.? Все они тоже вводят новые строки.

adarshr

7

С помощью этого решения html «<html> <body> <div> строка 1 </div> <div> строка 2 </div> <div> строка 3 </div> </body> </html>» произвел вывод: «строка 1 строка 2 строка 3» без новых строк.

JohnC

2

У меня это не работает; <br> не создают разрывы строк.

JoshuaD 01

Answer 12

Это должен быть единственно правильный ответ. Все остальные предполагают, что только brтеги создают новые строки. А как насчет любого другого блочного элемента в HTML, например div, pи ulт. Д.? Все они тоже вводят новые строки.

adarshr

Answer 13

7

С помощью этого решения html «<html> <body> <div> строка 1 </div> <div> строка 2 </div> <div> строка 3 </div> </body> </html>» произвел вывод: «строка 1 строка 2 строка 3» без новых строк.

JohnC

Answer 14

2

У меня это не работает; <br> не создают разрывы строк.

JoshuaD 01

Answer 15

43

С участием

Jsoup.parse("A\nB").text();

у вас есть выход

"A B"

и нет

A

B

Для этого я использую:

descrizione = Jsoup.parse(html.replaceAll("(?i)<br[^>]*>", "br2n")).text();
text = descrizione.replaceAll("br2n", "\n");

Мирко Аттокки
источник

2

На самом деле это легкий паллиатив, но, IMHO, это должно полностью обрабатываться самой библиотекой Jsoup (которая в настоящее время имеет несколько тревожных поведений, подобных этому - в противном случае это отличная библиотека!).

SRG

5

Разве JSoup не предоставляет DOM? Почему бы просто не заменить все <br>элементы текстовыми узлами, содержащими новые строки, а затем вызвать .text()вместо преобразования регулярное выражение, которое приведет к неправильному выводу для некоторых строк, таких как<div title=<br>'not an attribute'></div>

Майк Сэмюэл

5

Хорошо, но откуда взялось это «описание»?

Стив Уотерс

"descrizione" представляет собой переменную, которой присваивается простой текст

enigma969

Answer 16

2

На самом деле это легкий паллиатив, но, IMHO, это должно полностью обрабатываться самой библиотекой Jsoup (которая в настоящее время имеет несколько тревожных поведений, подобных этому - в противном случае это отличная библиотека!).

SRG

Answer 17

5

Разве JSoup не предоставляет DOM? Почему бы просто не заменить все <br>элементы текстовыми узлами, содержащими новые строки, а затем вызвать .text()вместо преобразования регулярное выражение, которое приведет к неправильному выводу для некоторых строк, таких как<div title=<br>'not an attribute'></div>

Майк Сэмюэл

Answer 18

5

Хорошо, но откуда взялось это «описание»?

Стив Уотерс

Answer 19

"descrizione" представляет собой переменную, которой присваивается простой текст

enigma969

Answer 20

23

Попробуйте это с помощью jsoup:

public static String cleanPreserveLineBreaks(String bodyHtml) {

    // get pretty printed html with preserved br and p tags
    String prettyPrintedBodyFragment = Jsoup.clean(bodyHtml, "", Whitelist.none().addTags("br", "p"), new OutputSettings().prettyPrint(true));
    // get plain text with preserved line breaks by disabled prettyPrint
    return Jsoup.clean(prettyPrintedBodyFragment, "", Whitelist.none(), new OutputSettings().prettyPrint(false));
}

mkowa
источник

приятно у меня работает с небольшими изменениями new Document.OutputSettings().prettyPrint(true)

Ашу

Это решение оставляет "& nbsp;" как текст, а не разбивать их на пробел.

Андрей Волгин

Answer 21

приятно у меня работает с небольшими изменениями new Document.OutputSettings().prettyPrint(true)

Ашу

Answer 22

Это решение оставляет "& nbsp;" как текст, а не разбивать их на пробел.

Андрей Волгин

Answer 23

13

В Jsoup v1.11.2 теперь мы можем использовать Element.wholeText().

Пример кода:

String cleanString = Jsoup.parse(htmlString).wholeText();

user121196's ответ по- прежнему работает. Но wholeText()сохраняет выравнивание текстов.

зеинозавр
источник

Супер-приятная особенность!

Денис Кулагин

Answer 24

Супер-приятная особенность!

Денис Кулагин

Answer 25

Для более сложного HTML ни одно из вышеперечисленных решений не сработало должным образом; Мне удалось успешно выполнить преобразование, сохранив разрывы строк:

Document document = Jsoup.parse(myHtml);
String text = new HtmlToPlainText().getPlainText(document);

(версия 1.10.3)

Answer 26

1

Лучший из всех ответов! Спасибо, Энди Рес!

Бхарат Надукатла,

Answer 27

Вы можете перемещаться по заданному элементу

public String convertNodeToText(Element element)
{
    final StringBuilder buffer = new StringBuilder();

    new NodeTraversor(new NodeVisitor() {
        boolean isNewline = true;

        @Override
        public void head(Node node, int depth) {
            if (node instanceof TextNode) {
                TextNode textNode = (TextNode) node;
                String text = textNode.text().replace('\u00A0', ' ').trim();                    
                if(!text.isEmpty())
                {                        
                    buffer.append(text);
                    isNewline = false;
                }
            } else if (node instanceof Element) {
                Element element = (Element) node;
                if (!isNewline)
                {
                    if((element.isBlock() || element.tagName().equals("br")))
                    {
                        buffer.append("\n");
                        isNewline = true;
                    }
                }
            }                
        }

        @Override
        public void tail(Node node, int depth) {                
        }                        
    }).traverse(element);        

    return buffer.toString();               
}

И для вашего кода

String result = convertNodeToText(JSoup.parse(html))

Answer 28

Я думаю , вы должны проверить , если isBlockв tail(node, depth)вместо этого, и Append \nпри выходе из блока , а не при входе его? Я делаю это (то есть использую tail), и это прекрасно работает. Однако, если я использую, headкак вы, то это: <p>line one<p>line twoзаканчивается как одна строка.

KajMagnus

Answer 29

text = Jsoup.parse(html.replaceAll("(?i)<br[^>]*>", "br2n")).text();
text = descrizione.replaceAll("br2n", "\n");

работает, если сам html не содержит "br2n"

Так,

text = Jsoup.parse(html.replaceAll("(?i)<br[^>]*>", "<pre>\n</pre>")).text();

работает надежнее и проще.

Answer 30

Попробуйте это с помощью jsoup:

    doc.outputSettings(new OutputSettings().prettyPrint(false));

    //select all <br> tags and append \n after that
    doc.select("br").after("\\n");

    //select all <p> tags and prepend \n before that
    doc.select("p").before("\\n");

    //get the HTML from the document, and retaining original new lines
    String str = doc.html().replaceAll("\\\\n", "\n");

Answer 31

Используйте textNodes()для получения списка текстовых узлов. Затем объедините их \nкак разделитель. Вот некоторый код Scala, который я использую для этого, порт java должен быть простым:

val rawTxt = doc.body().getElementsByTag("div").first.textNodes()
                    .asScala.mkString("<br />\n")

Answer 32

Основываясь на других ответах и комментариях по этому вопросу, кажется, что большинство людей, приходящих сюда, действительно ищут общее решение, которое обеспечит красиво отформатированное текстовое представление HTML-документа. Я знаю, что был.

К счастью, JSoup уже предоставляет довольно исчерпывающий пример того, как этого добиться: HtmlToPlainText.java

Пример FormattingVisitor можно легко настроить в соответствии с вашими предпочтениями, и он касается большинства блочных элементов и переноса строк.

Чтобы избежать гниения ссылок, вот полное решение Джонатана Хедли :

package org.jsoup.examples;

import org.jsoup.Jsoup;
import org.jsoup.helper.StringUtil;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.nodes.Node;
import org.jsoup.nodes.TextNode;
import org.jsoup.select.Elements;
import org.jsoup.select.NodeTraversor;
import org.jsoup.select.NodeVisitor;

import java.io.IOException;

/**
 * HTML to plain-text. This example program demonstrates the use of jsoup to convert HTML input to lightly-formatted
 * plain-text. That is divergent from the general goal of jsoup's .text() methods, which is to get clean data from a
 * scrape.
 * <p>
 * Note that this is a fairly simplistic formatter -- for real world use you'll want to embrace and extend.
 * </p>
 * <p>
 * To invoke from the command line, assuming you've downloaded the jsoup jar to your current directory:</p>
 * <p><code>java -cp jsoup.jar org.jsoup.examples.HtmlToPlainText url [selector]</code></p>
 * where <i>url</i> is the URL to fetch, and <i>selector</i> is an optional CSS selector.
 * 
 * @author Jonathan Hedley, jonathan@hedley.net
 */
public class HtmlToPlainText {
    private static final String userAgent = "Mozilla/5.0 (jsoup)";
    private static final int timeout = 5 * 1000;

    public static void main(String... args) throws IOException {
        Validate.isTrue(args.length == 1 || args.length == 2, "usage: java -cp jsoup.jar org.jsoup.examples.HtmlToPlainText url [selector]");
        final String url = args[0];
        final String selector = args.length == 2 ? args[1] : null;

        // fetch the specified URL and parse to a HTML DOM
        Document doc = Jsoup.connect(url).userAgent(userAgent).timeout(timeout).get();

        HtmlToPlainText formatter = new HtmlToPlainText();

        if (selector != null) {
            Elements elements = doc.select(selector); // get each element that matches the CSS selector
            for (Element element : elements) {
                String plainText = formatter.getPlainText(element); // format that element to plain text
                System.out.println(plainText);
            }
        } else { // format the whole doc
            String plainText = formatter.getPlainText(doc);
            System.out.println(plainText);
        }
    }

    /**
     * Format an Element to plain-text
     * @param element the root element to format
     * @return formatted text
     */
    public String getPlainText(Element element) {
        FormattingVisitor formatter = new FormattingVisitor();
        NodeTraversor traversor = new NodeTraversor(formatter);
        traversor.traverse(element); // walk the DOM, and call .head() and .tail() for each node

        return formatter.toString();
    }

    // the formatting rules, implemented in a breadth-first DOM traverse
    private class FormattingVisitor implements NodeVisitor {
        private static final int maxWidth = 80;
        private int width = 0;
        private StringBuilder accum = new StringBuilder(); // holds the accumulated text

        // hit when the node is first seen
        public void head(Node node, int depth) {
            String name = node.nodeName();
            if (node instanceof TextNode)
                append(((TextNode) node).text()); // TextNodes carry all user-readable text in the DOM.
            else if (name.equals("li"))
                append("\n * ");
            else if (name.equals("dt"))
                append("  ");
            else if (StringUtil.in(name, "p", "h1", "h2", "h3", "h4", "h5", "tr"))
                append("\n");
        }

        // hit when all of the node's children (if any) have been visited
        public void tail(Node node, int depth) {
            String name = node.nodeName();
            if (StringUtil.in(name, "br", "dd", "dt", "p", "h1", "h2", "h3", "h4", "h5"))
                append("\n");
            else if (name.equals("a"))
                append(String.format(" <%s>", node.absUrl("href")));
        }

        // appends text to the string builder with a simple word wrap method
        private void append(String text) {
            if (text.startsWith("\n"))
                width = 0; // reset counter if starts with a newline. only from formats above, not in natural text
            if (text.equals(" ") &&
                    (accum.length() == 0 || StringUtil.in(accum.substring(accum.length() - 1), " ", "\n")))
                return; // don't accumulate long runs of empty spaces

            if (text.length() + width > maxWidth) { // won't fit, needs to wrap
                String words[] = text.split("\\s+");
                for (int i = 0; i < words.length; i++) {
                    String word = words[i];
                    boolean last = i == words.length - 1;
                    if (!last) // insert a space if not the last word
                        word = word + " ";
                    if (word.length() + width > maxWidth) { // wrap and reset counter
                        accum.append("\n").append(word);
                        width = word.length();
                    } else {
                        accum.append(word);
                        width += word.length();
                    }
                }
            } else { // fits as is, without need to wrap text
                accum.append(text);
                width += text.length();
            }
        }

        @Override
        public String toString() {
            return accum.toString();
        }
    }
}

Answer 33

Это моя версия перевода html в текст (на самом деле модифицированная версия ответа user121196).

Это не только сохраняет разрывы строк, но также форматирует текст и удаляет лишние разрывы строк, escape-символы HTML, и вы получите гораздо лучший результат от своего HTML (в моем случае я получаю его по почте).

Первоначально он написан на Scala, но вы можете легко изменить его на Java.

def html2text( rawHtml : String ) : String = {

    val htmlDoc = Jsoup.parseBodyFragment( rawHtml, "/" )
    htmlDoc.select("br").append("\\nl")
    htmlDoc.select("div").prepend("\\nl").append("\\nl")
    htmlDoc.select("p").prepend("\\nl\\nl").append("\\nl\\nl")

    org.jsoup.parser.Parser.unescapeEntities(
        Jsoup.clean(
          htmlDoc.html(),
          "",
          Whitelist.none(),
          new org.jsoup.nodes.Document.OutputSettings().prettyPrint(true)
        ),false
    ).
    replaceAll("\\\\nl", "\n").
    replaceAll("\r","").
    replaceAll("\n\\s+\n","\n").
    replaceAll("\n\n+","\n\n").     
    trim()      
}

Answer 34

Вам также необходимо добавить новую строку к тегам <div>. В противном случае, если div следует за тегами <a> или <span>, он не будет на новой строке.

Андрей Волгин

Answer 35

2

Попробуй это:

public String noTags(String str){
    Document d = Jsoup.parse(str);
    TextNode tn = new TextNode(d.body().html(), "");
    return tn.getWholeText();
}

Манджи
источник

1

<p> <b> привет, мир </b> </p> <p> <br /> <b> Йоу </b> <a href=" google.com"> googlez </a> </ p > но мне нужен привет, мир yo googlez (без тегов html)

Билли

Этот ответ не возвращает простой текст; он возвращает HTML со вставленными символами новой строки.

KajMagnus

Answer 36

1

<p> <b> привет, мир </b> </p> <p> <br /> <b> Йоу </b> <a href=" google.com"> googlez </a> </ p > но мне нужен привет, мир yo googlez (без тегов html)

Билли

Answer 37

Этот ответ не возвращает простой текст; он возвращает HTML со вставленными символами новой строки.

KajMagnus

Answer 38

/**
 * Recursive method to replace html br with java \n. The recursive method ensures that the linebreaker can never end up pre-existing in the text being replaced.
 * @param html
 * @param linebreakerString
 * @return the html as String with proper java newlines instead of br
 */
public static String replaceBrWithNewLine(String html, String linebreakerString){
    String result = "";
    if(html.contains(linebreakerString)){
        result = replaceBrWithNewLine(html, linebreakerString+"1");
    } else {
        result = Jsoup.parse(html.replaceAll("(?i)<br[^>]*>", linebreakerString)).text(); // replace and html line breaks with java linebreak.
        result = result.replaceAll(linebreakerString, "\n");
    }
    return result;
}

Используется путем вызова с рассматриваемым html, содержащим br, вместе с любой строкой, которую вы хотите использовать в качестве временного заполнителя новой строки. Например:

replaceBrWithNewLine(element.html(), "br2n")

Рекурсия гарантирует, что строка, которую вы используете в качестве заполнителя новой строки / разрыва строки, никогда не будет на самом деле в исходном html, так как она будет продолжать добавлять «1» до тех пор, пока строка-заполнитель прерывателя ссылок не будет найдена в HTML. У него не будет проблем с форматированием, с которыми, похоже, сталкиваются методы Jsoup.clean со специальными символами.

Answer 39

Хороший, но вам не нужна рекурсия, просто добавьте эту строку: while (dirtyHTML.contains (linebreakerString)) linebreakerString = linebreakerString + "1";

Dr NotSoKind

Answer 40

О да. Абсолютно верно. Думаю, мой разум был захвачен на этот раз возможностью использовать рекурсию :)

Chris6647

Answer 41

Основываясь на ответе user121196 и Green Beret с selects и <pre>s, единственное решение, которое работает для меня:

org.jsoup.nodes.Element elementWithHtml = ....
elementWithHtml.select("br").append("<pre>\n</pre>");
elementWithHtml.select("p").prepend("<pre>\n\n</pre>");
elementWithHtml.text();

Как сохранить разрывы строк при использовании jsoup для преобразования HTML в обычный текст?

Ответы: