Как копировать большие файлы данных построчно?

У меня есть CSVфайл 35 ГБ . Я хочу прочитать каждую строку и записать строку в новый CSV, если он соответствует условию.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

Это занимает ок. 7 минут Можно ли еще быстрее ускорить этот процесс?

Если это опция, вы можете использовать GZipInputStream / GZipOutputStream для минимизации дискового ввода-вывода.

Files.newBufferedReader / Writer использует размер буфера по умолчанию, я полагаю, 8 КБ. Вы можете попробовать больший буфер.

Преобразование в строку, Unicode, замедляется (и использует в два раза больше памяти). Используемый UTF-8 не так прост, как StandardCharsets.ISO_8859_1.

Лучше всего, если вы можете работать с байтами по большей части и только для определенных CSV-полей конвертировать их в String.

Файл сопоставления памяти может быть наиболее подходящим. Параллелизм может использоваться диапазонами файлов, выплевывая файл.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

Это станет немного больше кода, получая строки прямо (byte)'\n', но не слишком сложным.

Вы можете попробовать это:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

Я думаю, что это сэкономит вам одну или две минуты. Тест можно выполнить на моей машине примерно за 4 минуты, указав размер буфера.

это может быть быстрее? попробуй это:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

Это должно сэкономить вам три или четыре минуты.

Если этого еще недостаточно. (Вероятно, причина, по которой вы задаете вопрос, заключается в том, что вам нужно выполнять задачу повторно). если вы хотите сделать это за одну минуту или даже пару секунд. Затем вы должны обработать данные и сохранить их в БД, а затем обработать задачу несколькими серверами.

Благодаря всем вашим предложениям быстрее всего я обменивался писателем BufferedOutputStream, что дало улучшение примерно на 25%:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

Тем не менее, BufferedReaderработает лучше, чем BufferedInputStreamв моем случае.