Какую пропускную способность следует ожидать с MPIO?

12

Dell PowerEdge 2950 с двумя сетевыми картами 1 Гбит / с подключается к двум портам 1 Гбит / с на коммутаторе, который затем переходит к NetApp с четырьмя сетевыми картами 1 Гбит / с, которые представлены как один виртуальный интерфейс. 24 диска, 7200k SATA, NetApp RAID-DP. Я сопоставил каждый сетевой адаптер с NetApp с помощью MPIO в инициаторе Microsoft iSCSI. При тестировании с использованием SQLIO пропускная способность записи кажется разумной - около 200 МБ, но мои чтения ближе к 100 МБ.

Разве мои чтения не должны быть ближе к 200 МБ, как мои записи? Это проблема конфигурации или есть фундаментальная проблема с хранилищем, которую я не понимаю?

введите описание изображения здесь

Обновление: вот IOPS для случайной рабочей нагрузки. Чтение имеет смысл, хотя, я не уверен, что сделать 20000 для записей. Кэш-память SAN составляет 3,2 ГБ. SQLIO тесты против файла 25 ГБ.

введите описание изображения здесь

Генри Ли
источник
3
Какой у вас кеш на устройстве NetApp? У вас есть администратор SAN, который может получить некоторые метрики для вас? У нас есть NetApp, и мы смогли выявить несколько проблем с помощью комбинации отчетов и журналов предупреждений. В конечном счете, у нас сложилась плохая оптоволоконная карта, но поддержка NetApp очень помогла нам в этом.
swasheck
2
Возможно, стоит проверить конфигурацию ваших агрегатов и томов, чтобы убедиться, что ваши диски используются правильно (не стесняйтесь размещать вашу конфигурацию, хотя я не уверен, сколько из нас являются экспертами NetApp). Обычно записи выполняются быстрее, чем операции чтения, поскольку записи могут быть кэшированы в файлере до того, как они будут помещены на диск, но операции чтения должны попасть на диск, если они уже не находятся в кэше.
Натан Джолли
2
@mrdenny Откуда возникает это понятие "99% ввода-вывода в блоках по 64 КБ"? Боб Дорр указывает на иное , как и Уэс Браун . Даже если бы мы игнорировали эти две полные статьи, здравый смысл, безусловно, подсказывает, что вы увидите 8K IO на платформе, которая использует размер страницы 8K.
Марк Стори-Смит
2
@mrdenny Мой должен быть сломан тогда, я должен вызвать поддержку? Я сидел здесь, просматривая операции ввода-вывода файла данных с монитором процесса, и хотя ожидается многократное чтение 64 КБ, существует множество других многократных операций чтения 8 КБ и, конечно, много операций записи 8 КБ. Активность журнала, как и ожидалось, кратна 512 байтов в диапазоне от одной записи 512 байтов до 60 КБ.
Марк Стори-Смит
2
@ MarkStorey-Smith По моему опыту чтения в 8k, как правило, связаны с фрагментацией. Также может указывать на перегрузку памяти, низкое время жизни страницы из-за сканирования, высвобождающего страницы (т.е. большая часть экстента все еще находится в памяти). Хорошо настроенная система должна показывать 64 тыс. Операций чтения. Пишет конечно зависит от того, что на самом деле грязно.
Ремус Русану

Ответы:

7

Запись на диск на самом деле направляется в память (NVRAM) на файлере, а затем будет сброшена на диск - на простаивающем фильтре они будут невероятно быстрыми, а число фишек в 20000 вполне правдоподобно (вы увидите аналогичные скорости на большинстве твердотельных накопителей) ,

Чтения, с другой стороны, должны поступать с диска, если они уже не находятся в кэше чтения файла (который, в отличие от записей, находится в энергозависимой памяти).

Трудно прижать продавцов хранилищ к iops для вращения дисков, но для диска 7200RPM 80-120 iops вполне правдоподобно. Учитывая, что вы, вероятно, потеряли пару дисков из-за RAID-DP и / или запасных частей NetApp, 2200 iops близки к тому, что вы могли ожидать от 22 дисков, каждый из которых выполняет около 100 iops.

Это может не объяснить вашу скорость чтения (ваши диски могут не выполнять полные 2200 iops, когда вы выполняете последовательное чтение), но это может, по крайней мере, помочь объяснить вашу производительность записи.

Натан Джолли
источник
Спасибо Натан. Стоит ли ожидать двойной пропускной способности с двумя сетевыми картами и MPIO?
Генри Ли
1
Можете ли вы проверить использование файла, пока выполняете тесты последовательного чтения? Если он достигнет 100%, ваше узкое место для них, скорее всего, будет в файлере (либо из-за конфигурации, либо из-за ограничений iops на каждом диске), а подключения MPIO / дополнительные MPIO ничего не добавят. Ваша пропускная способность записи может увеличиться.
Натан Джолли
5

Для потомков, после долгих проб и ошибок, мы выяснили, как получить ожидаемую пропускную способность.

Как упоминалось выше, у NetApp был один виртуальный интерфейс, поддерживаемый четырьмя физическими сетевыми картами. На хосте есть две сетевые карты, и я настроил MPIO через инициатор MS iSCSI, чтобы был путь от каждой сетевой карты к одному виртуальному интерфейсу. Результатом была пропускная способность выше - запись имела смысл на уровне около 200 МБ или скорости двух сетевых адаптеров, но чтения были вдвое меньше, чем скорость одного сетевого адаптера.

При ближайшем рассмотрении наш парень из SAN заметил, что трафик проходит только через один из физических сетевых адаптеров для чтения. Я не уверен, была ли ошибка конфигурации с нашей стороны, но мы попробовали две вещи, и обе дали нам пропускную способность. Одним из них было изменение одного виртуального интерфейса, поддерживаемого четырьмя сетевыми картами, на два виртуальных интерфейса, каждый из которых поддерживали два сетевых адаптера. Затем сопоставьте одну сетевую карту одному виртуальному интерфейсу. Другая вещь, которую мы попробовали, заключалась в использовании псевдонимов на стороне SAN для представления нескольких виртуальных интерфейсов. (Я не SAN парень, так что, надеюсь, я сказал это правильно.)

Мой вывод заключается в том, что нам просто нужно было SAN представить более одного интерфейса, чтобы Инициатор действительно видел несколько путей. Вот наша пропускная способность сейчас:

введите описание изображения здесь

Генри Ли
источник
почему меньшие записи теперь медленнее?
говорит Джек, попробуйте topanswers.xyz
Не уверен, мы еще не смогли этого понять. Я отправлю назад, если я выясню это.
Генри Ли