Каковы «хорошие» скорости для iSCSI и NFS более 1 ГБ Ethernet?

9

У меня есть коробка OpenSolaris, разделяющая две файловые системы ZFS. Одним из них является соединение NFS с блоком CentOS, на котором работает сервер VMware (образы дисков хранятся в ZFS). Другой - соединение iSCSI с сервером Windows 2008 с форматированием NTFS поверх ZFS. Оба соединения являются прямыми по гигабайту (без переключателей).

Я бегу Мунином, чтобы следить за коробками, но я не уверен, какие цифры мне следует ожидать. Кто-нибудь может дать мне несколько базовых чисел для сравнения или дать какие-либо предложения о том, с чего начать настройку?

Вот статистика NFS, которую я вижу, я выложу iSCSI, как только я исправлю munin на коробке соляриса: P

интерфейс

клиент NFS

vmware-server nfs iscsi zfs Sysadminicus
источник
Какие единицы вы ищете? KBPS? IO / сек?
WerkkreW
Я даже не знаю, с чего начать. Я обновил пост со статистикой, которую я получил от Мунина. Дайте мне знать, если есть лучшие места, чтобы посмотреть.
Sysadminicus

Ответы:

12

Мы выдвинули Sun X4100 с записью через GigE и iSCSI на Sun X4500 до 280 МБ / с.

Можно многое сделать, чтобы настроить стек TCP в Solaris, чтобы помочь, это мой мой стандартный конфигурационный конфигурационный набор. (взять из какой-то коллекции Sun Sun):

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

Кроме того, на вашем компьютере OpenSolaris стоит обратить внимание на изменение интервала fsflush, «магию» настройки прерываний и отключение программных колец. Добавьте следующее в / etc / system (требуется перезагрузка):

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

Стоит отметить, что я делаю это на Solaris 10, а не на OpenSolaris, но я думаю, что настраиваемые параметры должны работать для вас точно так же.

Я большой поклонник Filebench для того, чтобы поиграть с настройками и тестами производительности.

(Недавно переименованный) выпуск OpenSolaris 2009.06 выглядит очень захватывающим в мире iSCSI и ZFS.

Надеюсь, это поможет некоторым!

jharley
источник
3

Я получаю около 90 МБ / с для моих массивов EMC AX150i по iSCSI в 1 ГБ Ethernet.

Брент Озар
источник
1

Только для одного dd или bonnie ++ (сырая скорость, линейная запись) вы должны быть достаточно близки к скорости передачи.

Но узким местом будет дисковый массив, как только вы начнете получать случайную нагрузку ввода-вывода нескольких виртуальных машин, гораздо больше, чем транспорт.

Кроме того, если у вас нет кэша записи с резервным питанием от батареи со значительным объемом оперативной памяти, ваша производительность будет снижаться, как только вы начнете получать много записей с любым другим вводом-выводом.

jwiz
источник
0

Я был в состоянии выдвинуть данные по iSCSI приблизительно к 200 Мбит / с по ссылкам на 1 ГБ. Но у меня был 14-дисковый RAID 6, размещенный на EMC CX4-240, и кеш в то время почти ничего не использовал.

Самым большим узким местом, вероятно, будет количество кеша контроллера и скорость дисков (для случаев, когда кеш заполнен).

mrdenny
источник
1
Мы потерпели неудачу на этапе планирования, поместив все 12 дисков на одном контроллере. Я полагаю, что разделение их на другой контроллер будет для нас легкой победой в скорости.
Sysadminicus
Возможно, все зависит от того, где находится узкое место. Наш RAID 6 представляет собой один контроллер, так как все это в одной полке. Но это в довольно высоком конце аппаратного обеспечения. Где узкое место? Вам может просто понадобиться поместить больше кеша в контроллер и / или назначить больший процент кеша как кеш записи.
Мрденни
У меня похожая настройка (правда, с AX4-5). Я не использую iSCSI, но я получил очень быстрые передачи с использованием незашифрованных протоколов между двумя компьютерами в сети SAN. Хотелось бы мне знать о хороших документах по оптимизации SAN.
Мэтт Симмонс
0

Я получаю около 80 МБ / с на мой сервер Windows через ISCSI в 1G Ethernet. Цель: сервер KernSafe iStorage http://www.kernsafe.com/Product.aspx?id=5 Инициатор: Инициатор Microsoft www.microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6-4585-b385-befd1319f825=displayg ан

Hardisk: ATA 7200


источник
0

Для тех из нас, кто ближе к полу-про-концу вещей (а не к профессионалам), я получаю постоянную и непротиворечивую запись 150 МБ с возможностью записи 120 МБ с сервера W2012 с двойным 1-гигабитным никелем, объединенным через управляемый коммутатор draytek на blackarmorsnas через медь RJ45, одиночная передача файла 20 ГБ. Никаких других одновременных операций во время теста. Чтобы добиться этого, я использую jumbo-кадры 9k, rx & tx flow, то есть все обычные оптимизации драйвера, но никаких твиков, кроме включения вещей и увеличения jumbo frame до макс.

user174818
источник