Чтение InputStream как UTF-8

96

Я пытаюсь прочитать text/plainфайл через Интернет построчно. Код, который у меня есть прямо сейчас:

URL url = new URL("http://kuehldesign.net/test.txt");
BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream()));
LinkedList<String> lines = new LinkedList();
String readLine;

while ((readLine = in.readLine()) != null) {
    lines.add(readLine);
}

for (String line : lines) {
    out.println("> " + line);
}

Файл test.txt,, содержит ¡Hélló!, который я использую для проверки кодировки.

Когда я просматриваю OutputStream( out), я вижу это как > ¬°H√©ll√≥!. Я не считаю, что это проблема, OutputStreamтак как я могу обойтись out.println("é");без проблем.

Любые идеи для чтения из InputStreamUTF-8? Спасибо!

java utf-8 inputstream Крис Кюль
источник
1
Протокол HTTP определяет кодировку. Почему вы не используете API библиотеки, который сделает это за вас? Вы никогда не должны угадывать такую ​​кодировку. Я не хочу быть отрицательным: у вас все отлично! Мне просто интересно, нет ли более простого пути.
tchrist
1
К text/plainсожалению, у меня не будет доступа к серверу, который обслуживает файл, и он не использует кодировку UTF-8. Я не знал ни о каких хороших сетевых библиотеках; какие-либо предложения?
Chris Kuehl
1
Глядя на документы , я бы не подумал, что вам вообще нужно указывать кодировку. Я удивлен, что они дают вам поток байтов! У вас есть доступ к базовому URLConnection , из которого вы можете проверить Content-Encoding, а затем открыть InputStreamReader с правильным аргументом. Быстрая проверка источника не обнаруживает ничего, что могло бы помочь вам, что кажется чертовски неубедительным и подверженным ошибкам, поэтому я, вероятно, что-то пропустил.
tchrist

Ответы:

189

Решил свою проблему. Эта строка:

BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream()));

должно быть:

BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream(), "UTF-8"));

или начиная с Java 7:

BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream(), StandardCharsets.UTF_8));
Крис Кюль
источник
3
Я почти уверен, что эта форма конструктора не вызовет исключения при недопустимом вводе. Вам нужно использовать с CharsetDecoder decаргументом. Это та же ошибка дизайна Java, которую OutputStreamWriterимеют конструкторы: только один из четырех действительно снисходит до того, чтобы сообщить вам, когда что-то идет не так. И здесь вам снова придется использовать причудливые CharsetDecoder decаргументы. Единственное безопасное и разумное решение - считать все остальные конструкторы устаревшими, поскольку им нельзя доверять.
tchrist
6
Начиная с Java 7, можно написать кодировку как константу, а не как строкуStandardCharsets.UTF_8
tobijdc
18 
String file = "";

try {

    InputStream is = new FileInputStream(filename);
    String UTF8 = "utf8";
    int BUFFER_SIZE = 8192;

    BufferedReader br = new BufferedReader(new InputStreamReader(is,
            UTF8), BUFFER_SIZE);
    String str;
    while ((str = br.readLine()) != null) {
        file += str;
    }
} catch (Exception e) {

}

Попробуй это,.. :-)

Рохит
источник
8
Вместо file + = str создайте StringBuilder и добавьте к нему. Компилятор может оптимизировать добавление строки, но, скорее всего, создает много мусора
seand
2
Если вы хотите преобразовать BufferedReader в строку, используйте Apache Commons, не изобретайте заново: String myStr = org.apache.commons.io.IOUtils.toString (myBufferedReaderInstance);
Хайме Марин,
8
UTF8 = "utf8", хорошая переменная;)
Никофиси 09
7

Я сталкивался с той же проблемой каждый раз, когда находил специальный символ, помечающий ее как . чтобы решить эту проблему, я попытался использовать кодировку: ISO-8859-1

BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream("txtPath"),"ISO-8859-1"));

while ((line = br.readLine()) != null) {

}

Надеюсь, это поможет любому, кто увидит этот пост.

Джошуа Кливленд
источник
1
Подскажите, пожалуйста, какие символы не поддерживаются в UTF-8?
USM