Какая максимальная теоретическая пропускная способность NTFS для передачи данных?

28

Недавно я был на собрании локальной группы пользователей, где докладчик отметил, что максимальная пропускная способность стека ввода-вывода NTFS составляет 1 Гбит / с. Он обосновал свою претензию, одновременно скопировав два больших файла с одного и того же логического тома на разные логические тома (т. Е. [A] является источником, [b] является местом назначения 1 и [c] является местом назначения 2), и отметил, что скорость передачи данных колеблется около 500 Mbps. Он повторил этот тест несколько раз и отметил, что базовая подсистема хранения была флеш-памятью (чтобы убедиться, что мы не заподозрили медленное хранение).

Я пытался проверить это утверждение, но не могу найти ничего задокументированного. Я подозреваю, что я ищу неправильные условия поиска («Пропускная способность NTFS 1 Гбит / с», «Максимальная пропускная способность NTFS»). Меня интересует, действительно ли стек ввода-вывода ограничен пропускной способностью 1 Гбит / с.

РЕДАКТИРОВАТЬ

Чтобы уточнить: я не верю, что докладчик намеревался подразумевать, что NTFS была преднамеренно ограничена (и я извиняюсь, если я это тоже подразумевал). Я думаю , что это было подразумевается , что это зависит от конструкции файловой системы.

swasheck
источник
1 ГБ / с довольно быстро даже для флэш-накопителей (s)
TheFiddlerWins
2
@TheFiddlerWins 1 ГБ / с! = 1 Гбит / с
Kermit
1
Я согласен, но его вопрос говорит: «... максимальная пропускная способность стека ввода-вывода NTFS составляла 1 Гбит / с», насколько я знаю, B = байты и b = биты
TheFiddlerWins
1
Простой эксперимент - скопировать файл на диски RAM? Не сложно получить 16 * 2 = 32 ГБ оперативной памяти в наши дни.
kizzx2
1
JamesRyan - использование FTP в качестве механизма передачи не приводит к внезапному изменению файловой системы. Не путайте SMB с NTFS.
mfinni

Ответы:

36

Даже если вы имели в виду, GBpsа не Gbps...

Я не знаю ни о какой файловой системе, которая имеет фактическую throughput limit. Файловые системы - это просто структуры для хранения и извлечения файлов. Они используют метаданные, структуру, соглашения об именах, соглашения о безопасности и т. Д., Но фактические ограничения пропускной способности определяются самим базовым оборудованием (обычно это комбинация большого количества оборудования).

Сравнение различных файловых систем и их влияния на производительность базового оборудования может быть выполнено, но, опять же, это не ограничение, непосредственно налагаемое файловой системой, а скорее «переменная» в общей производительности системы.

Выбор развертывания одной файловой системы поверх другой обычно связан с тем, что представляет собой базовая ОС, каким будет сервер / приложение, каково базовое оборудование, и мягкими факторами, такими как область знаний и опыта администратора.

================================================== ================================

ТЕХНИЧЕСКИЕ РЕСУРСЫ И ЦИТАТЫ


Оптимизация NTFS

Факторы производительности NTFS

Вы определяете многие факторы, влияющие на производительность томов NTFS. Вы выбираете важные элементы, такие как тип тома NTFS (например, SCSI или IDE), скорость (например, скорость вращения дисков) и количество дисков в томе. В дополнение к этим важным компонентам на производительность тома NTFS существенно влияют следующие факторы:

  • Размер кластера и единицы размещения
  • Расположение и уровень фрагментации часто используемых файлов, таких как главная таблица файлов (MFT), каталоги, специальные файлы, содержащие метаданные NTFS, файл подкачки и часто используемые файлы пользовательских данных.
  • Независимо от того, создаете ли вы том NTFS с нуля или конвертируете его из существующего тома FAT
  • Использует ли том сжатие NTFS
  • Отключаете ли вы ненужные поведения NTFS

Использование более быстрых дисков и большего количества дисков в многодисковых томах является очевидным способом повышения производительности. Другие методы повышения производительности более неясны и связаны с деталями конфигурации тома NTFS.


Масштабируемость и производительность в современных файловых системах

К сожалению, невозможно провести прямое сравнение производительности обсуждаемых файловых систем, поскольку они не все доступны на одной платформе. Кроме того, поскольку доступные данные обязательно принадлежат разным аппаратным платформам, трудно отличить характеристики производительности файловой системы от характеристик аппаратной платформы, на которой она работает.


NTFS Оптимизация

Новый технический документ, содержащий руководство по определению размеров томов NTFS

Что нового в NTFS

Настройка файловой системы NTFS для производительности

/superuser/411720/how-does-ntfs-compression-affect-performance

Лучшие практики для сжатия NTFS в Windows

Очиститель
источник
9
Тем не менее, я мог бы провести симпозиум с подключением только 802.11g на всех устройствах и клясться, что пропускная способность NTFS была <54 Мбит / с, демонстрируя многократное копирование между устройствами.
TheCleaner
1
Может быть, но сказать «NTFS имеет жесткий лимит» против «NTFS медленнее, чем ext4 на <x> оборудовании» - большая разница. Возможно, он ошибся, вы, возможно, неправильно истолковали, независимо ... вот так.
TheCleaner
7
Опять же, NTFS файловая система не будет иметь таких ограничений, но данный драйвер NTFS может.
mfinni
1
Не думайте об этом как о пределе, а о логических затратах. Это также включает драйвер, поскольку «установленный» предел должен быть значением определения, определенным в коде драйвера. Тем не менее, я понимаю, что вы мыслили как процесс <- (@mfinni) ... жесткие ограничения определяются пропускной способностью диска для обработки операций чтения / записи ввода-вывода, а также техническими ограничениями транспортного средства.
AngryWombat
1
Ницца добавляет, @TheCleaner
mfinni
10

Я очень сомневаюсь, что существует узкое место в передаче данных, связанное с файловой системой , потому что файловые системы не диктуют детали реализации , которые жестко ограничивают производительность . Разумеется, у определенного драйвера для файловой системы на конкретной конфигурации оборудования будут узкие места.

mfinni
источник
Я не думал, что это было преднамеренно ограничено, но думал, что, возможно, это было ограничением дизайна
swasheck
Спасибо за внимание от "файловой системы" к "драйверу".
swasheck
5
Вы не можете увеличить скорость книги - вы можете увеличить скорость читателя и вещей, от которых зависит читатель.
mfinni
Пределы и узкие места - это две разные вещи ... поскольку файловая система может вызывать накладные расходы, теоретически возможно создать узкое место, но не будет определять жестко установленный предел, который, как я полагаю, и был намерением, изложенным в этом посте.
AngryWombat
7

Я был бы очень удивлен, если бы это было правдой. Давайте посмотрим на все, что может замедлить файловую систему:

  • Физический носитель (диск, ssd)
  • Подключение к этому носителю (sas, sata, fcal)
  • фрагментация
  • Плохие алгоритмы блокировки или другие проблемы с кодом
  • Скорость процессора и памяти

Наиболее распространенным ограничивающим фактором является ваш физический носитель. Вращающаяся ржавчина медленная . Возьмем, к примеру, этот действительно новый диск , максимальная скорость которого составляет 6 Гбит / с (это Гбит / с, а не Гбит / с!). Конечно, использование установки raid 1 ускорит это. Конечно, вы никогда не достигнете этого, поскольку стремитесь убить вашу производительность. Итак, давайте использовать SSD, вы говорите? О, посмотри на это, снова 6Gb.

Затем есть соединение: sas (самое быстрое локальное хранилище) достигает скорости 6 Гбит / с, а FC - до 16 Гбит / с.

Вы уверены, что ваше демо использовало такое высококлассное, современное, аппаратное обеспечение?

Если вы: интересно! Возможно, вы столкнулись с проблемой 3, и ваша файловая система нуждается в некоторой оптимизации. Или, скорее всего, ваши драйверы и приложения пожирают ваш процессор (5). Если ни один из них, тем не менее, вы, возможно, столкнулись с фактической проблемой производительности в NTFS, пожалуйста, сообщите об этом в Microsoft.

И даже тогда: это не искусственный предел, установленный, чтобы сделать вашу жизнь более несчастной. Файловые системы не намеренно ограничивают скорость передачи, но ограничены тем, что может дать вам ваше оборудование.

Деннис Каарсемакер
источник
7

Я не думаю, что есть максимум. Но я знаю, что это больше, чем 1 ГБ / с, потому что люди в Samsung сделали 2121,29 МБ / с для чтения и 2000,195 МБ / с для своей установки 2009 года с 24 SSD-дисками http://www.youtube.com/watch?v=96dWOEa4Djs

Они думают, что достигли этого предела, потому что это была общая аппаратная пропускная способность плат контроллера, к которым были подключены SSD.

Также на этой странице http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk показан диск RAM, отформатированный в NTFS, с объемом от 5 до 7 ГБ. / с. Попробуйте сами с одним из названий RAMdisk, перечисленных на http://en.wikipedia.org/wiki/List_of_RAM_drive_software

BeowulfNode42
источник
3

Единственный логичный способ сравнения ограничений файловой системы - это делать это в системах, где константой была файловая система, а переменными были другие факторы, такие как устройства, соединения и т. Д. Использование одной системы для сравнения скоростей передачи за несколько итераций доказывает только то, что конкретная система была ограничена, а не что файловая система была ограничена.

Richard_G
источник
1

В NTFS нет встроенного ограничения пропускной способности. Единственное ограничение скорости - это характеристики производительности базового оборудования.

длинная шея
источник
Я не думал, что это было преднамеренно ограничено, но думал, что, возможно, это было ограничением дизайна.
swasheck
6
@swasheck Я не думаю, что возможно разработать файловую систему, которая не будет передавать данные в два раза быстрее, если у вас процессор в два раза быстрее, и вы можете читать диск в два раза быстрее и искать в два раза быстрее. Даже самый неэффективный дизайн можно сделать быстрее, сделав все, что он использует быстрее.
Random832