Как физическая память влияет на копирование файлов?

1

Моя настройка:

Серверы источника и назначения (установлены в корпусе Dell M1000e):

  • Dell Poweredge M620 (блейд-серверы)
  • 2 процессора Intel E5-2650 с тактовой частотой 2 ГГц
  • ОЗУ 192 ГБ (DDR3, 1333 МГц
  • Контроллер Perc H310 Raid (6Gbe за слот)
  • 2 накопителя SSD (Sata) емкостью 1,7 ТБ (RAID-0)

  • 2x 10Gbe NIC (MS-Team, независим от коммутатора, динамический, все адаптеры активны)

  • Windows 2012 R2 (установка по умолчанию)

  • Файл управляемой страницы системы

  • Серверы подключены к коммутатору Force10 MXL 10Gb внутреннего корпуса

  • Jumbo пакеты настроены (сетевые платы и порты коммутатора)

Случай использования:

При копировании (копирование в Windows) большого файла (более 200 ГБ) между исходным и целевым серверами (не имеет значения, в каком направлении это происходит в обоих случаях), копирование начинается с хорошей постоянной скорости передачи ~ 1 ГБ / с (хотя я ожидая ~ 2 ГБ / с), однако где-то по пути он падает до нескольких МБ / с (!) для остальной части передачи.
Пожалуйста, смотрите изображение ниже для более ясного просмотра

введите описание изображения здесь

Похоже, ОЗУ влияет на мои действия копирования.
Как и почему это влияет на это?

networking memory ssd file-transfer windows-server-2012 Лирон Эциони
источник
Попробуйте это с FastCopy, который использует низкоуровневый API и избегает многих механизмов, используемых Explorer, даже кеша, чтобы он мог достичь лучших скоростей. Это укажет, связана ли проблема с кешем.
Harrymc

Ответы:

0
  • Пропускная способность между серверами составляет 10 Гбит / с.
  • Пропускная способность ваших SSD составляет 6 Гбит / с, из которых около 4 Гбит - это чистая скорость записи

Таким образом, на первом этапе данные файла поступают со скоростью около 10 Гбит / с, из которых 4 Гбит / с перемещаются на диск, а 4 Гбит / с остаются в кэше.

После ок. Половина вашей кеш-памяти заполнена на 100%, поэтому Windows начинает ограничивать передачу, но все же поступающие данные плюс очистка кеша - это больше, чем могут выдержать SSD. Это приводит к большему заполнению кэша.

Когда объем свободной ОЗУ, наконец, достигнет нижнего предела (или размер грязного кеша - верхнего предела), Windows сбросит передачу почти до нуля, чтобы очистить кэш.

Когда все грязные данные были перемещены, скорость передачи снова возрастет, и будет достигнуто равновесие (если передача не закончена).

Для перемещения больших файлов, гораздо лучше использовать программное обеспечение, которое использует запись файлов O_DIRECT, а это, конечно, не Explorer.

Евгений Рик
источник
«Несколько МБ / с» немного экстремально для этого сценария.
Harrymc
Это. Но так работает Windows Explorer. Используйте что-то более подходящее для этой цели.
Евгений Рик