Проблема с кодировкой Java FileReader

Я попытался использовать java.io.FileReader для чтения некоторых текстовых файлов и преобразования их в строку, но обнаружил, что результат неверно закодирован и вообще не читается.

Вот моя среда:

• Windows 2003, кодировка ОС: CP1252

• Java 5.0

Мои файлы имеют кодировку UTF-8 или CP1252, и некоторые из них (файлы с кодировкой UTF-8) могут содержать китайские (нелатинские) символы.

Я использую следующий код для работы:

   private static String readFileAsString(String filePath)
    throws java.io.IOException{
        StringBuffer fileData = new StringBuffer(1000);
        FileReader reader = new FileReader(filePath);
        //System.out.println(reader.getEncoding());
        BufferedReader reader = new BufferedReader(reader);
        char[] buf = new char[1024];
        int numRead=0;
        while((numRead=reader.read(buf)) != -1){
            String readData = String.valueOf(buf, 0, numRead);
            fileData.append(readData);
            buf = new char[1024];
        }
        reader.close();
        return fileData.toString();
    }

Приведенный выше код не работает. Я обнаружил, что кодировка FileReader - CP1252, даже если текст закодирован в UTF-8. Но JavaDoc java.io.FileReader говорит, что:

Конструкторы этого класса предполагают, что кодировка символов по умолчанию и размер байтового буфера по умолчанию подходят.

Означает ли это, что мне не нужно самостоятельно устанавливать кодировку символов, если я использую FileReader? Но в настоящее время я получил неверно закодированные данные, как правильно поступить в моей ситуации? Спасибо.

Да, вам нужно указать кодировку файла, который вы хотите прочитать.

Да, это означает, что вы должны знать кодировку файла, который хотите прочитать.

Нет, не существует общего способа угадать кодировку любого заданного «текстового» файла.

Конструкторы с одним аргументомFileReader всегда используют кодировку платформы по умолчанию, что обычно является плохой идеей .

Поскольку в Java 11 FileReaderпоявились конструкторы, принимающие кодировку: new FileReader(file, charset)и new FileReader(fileName, charset).

В более ранних версиях java вам нужно использовать .new InputStreamReader(new FileInputStream(pathToFile), <encoding>)

FileReader использует кодировку платформы Java по умолчанию, которая зависит от системных настроек компьютера, на котором она работает, и обычно является самой популярной кодировкой среди пользователей в этой локали.

Если это «лучшее предположение» неверно, вам необходимо явно указать кодировку. К сожалению, FileReaderне позволяет этого (серьезная оплошность в API). Вместо этого вы должны использовать new InputStreamReader(new FileInputStream(filePath), encoding)и, в идеале, получить кодировку из метаданных файла.

Начиная с Java 11 вы можете использовать это:

public FileReader(String fileName, Charset charset) throws IOException;

Для Java 7+ документ вы можете использовать это:

BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8);

Вот все кодировки doc

Например, если ваш файл находится в CP1252, используйте этот метод

Charset.forName("windows-1252");

Вот другие канонические имена для Java кодировок и для ввода - вывода и NIO документ

Если вы не знаете , с точно кодирующим у вас есть в файл, вы можете использовать некоторый сторонний LIBS как этот инструмент от Google это , который работает довольно аккуратно.

FileInputStream с InputStreamReader лучше, чем напрямую с помощью FileReader, потому что последний не позволяет вам указывать кодировку кодировки.

Вот пример использования BufferedReader, FileInputStream и InputStreamReader вместе, чтобы вы могли читать строки из файла.

List<String> words = new ArrayList<>();
List<String> meanings = new ArrayList<>();
public void readAll( ) throws IOException{
    String fileName = "College_Grade4.txt";
    String charset = "UTF-8";
    BufferedReader reader = new BufferedReader(
        new InputStreamReader(
            new FileInputStream(fileName), charset)); 

    String line; 
    while ((line = reader.readLine()) != null) { 
        line = line.trim();
        if( line.length() == 0 ) continue;
        int idx = line.indexOf("\t");
        words.add( line.substring(0, idx ));
        meanings.add( line.substring(idx+1));
    } 
    reader.close();
}

Для других латинских языков, например кириллица, вы можете использовать что-то вроде этого:

FileReader fr = new FileReader("src/text.txt", StandardCharsets.UTF_8);

и убедитесь, что ваш .txtфайл сохранен UTF-8в ANSIформате (но не по умолчанию ). Ура!