Настройка
Мы арендовали несколько выделенных линий, которые представляют собой сеть уровня 2, т.е. у вас есть один большой канал в центре обработки данных, а на удаленных площадках - меньшие каналы. Внутри сети уровня 2 вы можете делать все что угодно. Вероятно, они используют 802.1ad, чтобы предоставить каждому клиенту отдельную сеть внутри своей сети. AFAICS большинство сайтов подключены через простой VDSL.
Мы решили установить маршрутизатор на каждом сайте и предоставить каждому сайту свою собственную VLAN. Брандмауэр на DC, таким образом, имеет столько VLAN, сколько есть сайтов. Таким образом, каждый сайт использует свой диапазон адресов в своей собственной VLAN.
Диаграмма сети:
Проблема
Теперь мы столкнулись с проблемами пропускной способности:
- Выполнение передачи по FTP с сайта на DC работает нормально со скоростью около 10 Мбит / с, что является скоростью линии.
- Выполнение FTP-передачи с DC на сайт не работает нормально на скорости 6 Мбит / с или менее.
Неважно, какая сторона инициирует передачу. Единственная постоянная вещь - то, что одно направление не работает хорошо. Жаль, что это направление к сайту, потому что это будет пропускная способность, в которой мы нуждаемся больше всего, поскольку мы хотели бы использовать клиенты терминальных серверов.
Через 10 секунд после передачи пропускная способность падает. Мы видим DUP ACK при нюхании. Что может привести меня к ограничению скорости в конце провайдера? (В настоящее время они не имеют ни малейшего понятия, и я хотел бы убедиться, что мы не виноваты, прежде чем эскалация)
ПРИМЕЧАНИЕ. Количество удаленных сайтов ограничено 10 МБ. Установка переключения на Metro-порт на 10 МБ также не помогает. На самом деле это хуже всего (макс. 30 кб / с). Установка на 100 Мб работает нормально, но уже начинает приводить к намеченной проблеме. То же самое для 1G.
Захваты проблемы можно скачать здесь:
* http://178.63.11.6/dc-to-remote_dc-side.pcapng
* http://178.63.11.6/dc-to-remote_remote-side.pcapng
диагностика
На рисунке вы видите график ввода-вывода Wireshark с некоторыми деталями ошибки:
- слева: передача по FTP с DC на сайт
- справа: передача по FTP с сайта на DC
В случае, если другая сторона инициирует передачу (т.е. ставит из постоянного тока вместо получения из удаленного), проблема остается неизменной.
Пожалуйста, побалуйте меня тем, что, по вашему мнению, может быть проблемой здесь.
ОБНОВЛЕНИЕ № 1 (интегрировано выше)
ОБНОВЛЕНИЕ № 2 ( ОБНОВЛЕНО )
Это должно быть вещь контроля заторов.
Обратите внимание, что от постоянного тока до удаленного у нас есть 10G-> 1G-> 100M-> 10M-> 1G. <- не работает
В другом направлении мы имеем обратное: 1G-> 10M-> 100M-> 1G-> 10G. <- просто отлично
Первый «1G-> 10M» - это «невидимые» 10M на удаленном сайте, где все, включая скорость порта восходящей линии связи, установлено на 1G, даже если за ним остается только 10M (продается).
Однако 100 Мбит / с на DC являются реальными 100 Мбит / с, интерфейс настроен на 100 Мбит / с на физическом уровне.
Я сейчас использовал iperf:
- Тесты TCP работают нормально только в одном направлении (клиент = DC, сервер = удаленный)
./iperf -c 192.168.x -i2 -t 60 -r -------------------------------------------------- ---------- Сервер прослушивает TCP-порт 5001 Размер окна TCP: 85,3 КБ (по умолчанию) -------------------------------------------------- ---------- -------------------------------------------------- ---------- Клиент подключается к 192.168.x, TCP-порт 5001 Размер окна TCP: 16,0 КБ (по умолчанию) -------------------------------------------------- ---------- [3] локальный порт 10.x 38195, связанный с портом 5001 192.168.x [3] 0,0-2,0 с 1,44 МБайт 6,03 Мбит / с [3] 2,0-4,0 с 2,23 МБайт 9,37 Мбит / с [3] 4,0-6,0 с 2,28 МБайт 9,57 Мбит / с [3] 6,0-8,0 с 1,88 МБ 7,90 Мбит / с [3] 8,0-10,0 с 1,00 МБайт 4,19 Мбит / с [3] 10,0-12,0 с 1,30 МБайт 5,47 Мбит / с [3] 12,0-14,0 с 688 КБайт 2,82 Мбит / с [3] 14,0-16,0 с 840 КБайт 3,44 Мбит / с [3] 16,0-18,0 с 1,03 МБайт 4,33 Мбит / с [3] 18,0–20,0 с 1,01 МБайт 4,23 Мбит / с [3] 20,0-22,0 с 1,03 МБайт 4,33 Мбит / с [3] 22,0-24,0 с 1,18 МБайт 4,95 Мбит / с [3] 24,0–26,0 с 904 КБайт 3,70 Мбит / с [3] 26,0-28,0 с 840 КБайт 3,44 Мбит / с [3] 28,0-30,0 с 936 КБайт 3,83 Мбит / с [3] 30,0-32,0 с 1,09 МБайт 4,59 Мбит / с [3] 32,0-34,0 с 960 КБайт 3,93 Мбит / с [3] 34,0-36,0 с 752 КБ 3,08 Мбит / с [3] 36,0-38,0 с 1,09 МБайт 4,59 Мбит / с [3] 38,0-40,0 с 1,09 МБайт 4,59 Мбит / с [3] 40,0-42,0 с 840 КБайт 3,44 Мбит / с [3] 42,0-44,0 с 1,27 МБайт 5,34 Мбит / с [3] 44,0-46,0 с 1,16 МБайт 4,85 Мбит / с [3] 46,0-48,0 с 840 КБайт 3,44 Мбит / с [3] 48,0-50,0 с 960 КБайт 3,93 Мбит / с [3] 50,0-52,0 с 1,28 МБайт 5,37 Мбит / с [3] 52,0-54,0 с 1,09 МБайт 4,59 Мбит / с [3] 54,0-56,0 с 992 КБайт 4,06 Мбит / с [3] 56,0-58,0 с 1,00 МБайт 4,19 Мбит / с [3] 58,0-60,0 с 1,09 МБайт 4,59 Мбит / с [3] 0,0-60,2 с 33,9 МБайт 4,73 Мбит / с [5] локальный 10.x порт 5001, связанный с 192.168.x портом 10965 [5] 0,0-2,0 с 1,85 МБайт 7,75 Мбит / с [5] 2,0-4,0 с 1,90 МБайт 7,98 Мбит / с [5] 4,0-6,0 с 1,89 МБайт 7,93 Мбит / с [5] 6,0-8,0 с 1,92 МБайт 8,07 Мбит / с [5] 8,0-10,0 с 1,91 МБайт 8,02 Мбит / с [5] 10,0-12,0 с 1,83 МБайт 7,69 Мбит / с [5] 12,0-14,0 с 1,86 МБайт 7,78 Мбит / с [5] 14,0-16,0 с 1,79 МБ 7,52 Мбит / с [5] 16,0-18,0 с 1,79 МБ 7,52 Мбит / с [5] 18,0-20,0 с 1,89 МБ 7,91 Мбит / с [5] 20,0-22,0 с 1,91 МБайт 8,00 Мбит / с [5] 22,0-24,0 с 1,88 МБ 7,91 Мбит / с [5] 24,0-26,0 с 1,95 МБайт 8,16 Мбит / с [5] 26,0-28,0 с 1,90 МБайт 7,99 Мбит / с [5] 28,0-30,0 с 1,87 МБ 7,84 Мбит / с [5] 30,0-32,0 с 1,85 МБ 7,77 Мбит / с [5] 32,0-34,0 с 1,55 МБ 6,49 Мбит / с [5] 34,0-36,0 с 1,92 МБайт 8,07 Мбит / с [5] 36,0-38,0 с 1,90 МБайт 7,99 Мбит / с [5] 38,0-40,0 с 1,84 МБ 7,73 Мбит / с [5] 40,0-42,0 с 1,66 МБайт 6,95 Мбит / с [5] 42,0-44,0 с 1,92 МБайт 8,07 Мбит / с [5] 44,0-46,0 с 1,91 МБайт 7,99 Мбит / с [5] 46,0-48,0 с 1,90 МБайт 7,98 Мбит / с [5] 48,0-50,0 с 1,84 МБайт 7,70 Мбит / с [5] 50,0-52,0 с 1,93 МБайт 8,09 Мбит / с [5] 52,0-54,0 с 1,80 МБ 7,54 Мбит / с [5] 54,0-56,0 с 1,83 МБайт 7,67 Мбит / с [5] 56,0-58,0 с 1,88 МБайт 7,86 Мбит / с [5] 58,0-60,0 с 1,85 МБ 7,78 Мбит / с [5] 0,0-60,3 с 56,0 МБайт 7,79 Мбит / с
- Чтобы разобраться в этом, вот тесты UDP от двух хостов в одной VLAN, но с использованием Metro Connection, 200 = удаленный, 201 = DC
Мы видим, что потеря пакетов увеличивается с увеличением пропускной способности (когда мы приближаемся к 10 Мбит / с, у нас 0,93%, это становится критическим ... и также объясняет, почему у TCP проблемы с производительностью)
++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++ C: \ iperf-2.0.5-2-win32> iperf -c 192.168.191.200 -i 1 -t 20 -r -u ++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++ -------------------------------------------------- ---------- Сервер прослушивает UDP-порт 5001 Получение 1470 байт дейтаграмм Размер буфера UDP: 64,0 КБ (по умолчанию) -------------------------------------------------- ---------- -------------------------------------------------- ---------- Клиент подключается к 192.168.191.200, порт UDP 5001 Отправка 1470 байт дейтаграмм Размер буфера UDP: 64,0 КБ (по умолчанию) -------------------------------------------------- ---------- [4] локальный 192.168.191.201 порт 61759, связанный с 192.168.191.200 портом 5001 [ID] Интервал передачи [4] 0,0-1,0 с 128 КБайт 1,05 Мбит / с [4] 1,0-2,0 с 128 КБайт 1,05 Мбит / с [4] 2,0-3,0 с 129 КБайт 1,06 Мбит / с [4] 3,0-4,0 с 128 КБайт 1,05 Мбит / с [4] 4,0-5,0 с 128 КБ 1,05 Мбит / с [4] 5,0-6,0 с 128 КБ 1,05 Мбит / с [4] 6,0-7,0 с 128 КБ 1,05 Мбит / с [4] 7,0-8,0 с 128 КБ 1,05 Мбит / с [4] 8,0-9,0 с 128 КБ 1,05 Мбит / с [4] 9,0-10,0 с 129 КБайт 1,06 Мбит / с [4] 10,0-11,0 с 128 КБ 1,05 Мбит / с [4] 11,0-12,0 с 128 КБайт 1,05 Мбит / с [4] 12,0-13,0 с 128 КБ 1,05 Мбит / с [4] 13,0-14,0 с 128 КБ 1,05 Мбит / с [4] 14,0-15,0 с 128 КБ 1,05 Мбит / с [4] 15,0-16,0 с 128 КБ 1,05 Мбит / с [4] 16,0-17,0 с 128 КБ 1,05 Мбит / с [4] 17,0-18,0 с 128 КБ 1,05 Мбит / с [4] 18,0-19,0 с 131 КБ 1,07 Мбит / с [4] 19,0-20,0 с 128 КБ 1,05 Мбит / с [4] 0,0-20,0 с 2,50 МБайт 1,05 Мбит / с [4] Отправлено 1785 дейтаграмм. [4] Отчет сервера: [4] 0,0-20,0 с 2,50 МБайт 1,05 Мбит / с 0,257 мс 0/1785 (0%) [3] локальный 192.168.191.201 порт 5001, соединенный с 192.168.191.200 портом 50749 [3] 0,0-1,0 с 128 КБайт 1,05 Мбит / с 0,285 мс 0/89 (0%) [3] 1,0-2,0 с 128 КБайт 1,05 Мбит / с 0,313 мс 0/89 (0%) [3] 2,0-3,0 с 128 КБайт 1,05 Мбит / с 0,278 мс 0/89 (0%) [3] 3,0-4,0 с 128 КБайт 1,05 Мбит / с 0,241 мс 0/89 (0%) [3] 4,0-5,0 с 128 КБайт 1,05 Мбит / с 0,266 мс 0/89 (0%) [3] 5,0-6,0 с 128 КБайт 1,05 Мбит / с 0,293 мс 0/89 (0%) [3] 6,0-7,0 с 128 КБайт 1,05 Мбит / с 0,314 мс 0/89 (0%) [3] 7,0-8,0 с 128 КБайт 1,05 Мбит / с 0,280 мс 0/89 (0%) [3] 8,0-9,0 с 128 КБайт 1,05 Мбит / с 0,242 мс 0/89 (0%) [3] 9,0-10,0 с 129 КБайт 1,06 Мбит / с 0,250 мс 0/90 (0%) [3] 10,0-11,0 с 128 КБайт 1,05 Мбит / с 0,275 мс 0/89 (0%) [3] 11,0-12,0 с 128 КБайт 1,05 Мбит / с 0,299 мс 0/89 (0%) [3] 12,0-13,0 с 128 КБайт 1,05 Мбит / с 0,327 мс 0/89 (0%) [3] 13,0-14,0 с 128 КБайт 1,05 Мбит / с 0,290 мс 0/89 (0%) [3] 14,0-15,0 с 128 КБайт 1,05 Мбит / с 0,251 мс 0/89 (0%) [3] 15,0-16,0 с 128 КБайт 1,05 Мбит / с 0,275 мс 0/89 (0%) [3] 16,0-17,0 с 128 КБайт 1,05 Мбит / с 0,303 мс 0/89 (0%) [3] 17,0-18,0 с 128 КБайт 1,05 Мбит / с 0,333 мс 0/89 (0%) [3] 18,0-19,0 с 128 КБайт 1,05 Мбит / с 0,294 мс 0/89 (0%) [3] 19,0–20,0 с 131 КБайт 1,07 Мбит / с 0,281 мс 0/91 (0%) [3] 0,0-20,0 с 2,50 МБайт 1,05 Мбит / с 0,305 мс 0/1785 (0%) ++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++ C: \ iperf-2.0.5-2-win32> iperf -c 192.168.191.200 -i 1 -t 20 -r -u -b 5м ++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++ -------------------------------------------------- ---------- Сервер прослушивает UDP-порт 5001 Получение 1470 байт дейтаграмм Размер буфера UDP: 64,0 КБ (по умолчанию) -------------------------------------------------- ---------- -------------------------------------------------- ---------- Клиент подключается к 192.168.191.200, порт UDP 5001 Отправка 1470 байт дейтаграмм Размер буфера UDP: 64,0 КБ (по умолчанию) -------------------------------------------------- ---------- [4] локальный порт 61760 192.168.191.201, связанный с портом 5001 192.168.191.200 [ID] Интервал передачи [4] 0,0-1,0 с 610 КБайт 5,00 Мбит / с [4] 1,0-2,0 с 609 КБайт 4,99 Мбит / с [4] 2,0-3,0 с 610 КБайт 5,00 Мбит / с [4] 3,0-4,0 с 609 КБайт 4,99 Мбит / с [4] 4,0-5,0 с 610 КБайт 5,00 Мбит / с [4] 5,0–6,0 с 609 КБайт 4,99 Мбит / с [4] 6,0-7,0 с 610 КБайт 5,00 Мбит / с [4] 7,0-8,0 с 609 КБайт 4,99 Мбит / с [4] 8,0-9,0 с 610 КБайт 5,00 Мбит / с [4] 9,0-10,0 с 619 КБайт 5,07 Мбит / с [4] 10,0-11,0 с 610 КБайт 5,00 Мбит / с [4] 11,0-12,0 с 609 КБайт 4,99 Мбит / с [4] 12,0-13,0 с 609 КБайт 4,99 Мбит / с [4] 13,0-14,0 с 610 КБайт 5,00 Мбит / с [4] 14,0-15,0 с 609 КБайт 4,99 Мбит / с [4] 15,0-16,0 с 610 КБайт 5,00 Мбит / с [4] 16,0-17,0 с 609 КБайт 4,99 Мбит / с [4] 17,0-18,0 с 610 КБайт 5,00 Мбит / с [4] 18,0-19,0 с 619 КБайт 5,07 Мбит / с [4] 19,0–20,0 с 609 КБайт 4,99 Мбит / с [4] 0,0-20,0 с 11,9 МБайт 5,00 Мбит / с [4] Отправлено 8504 дейтаграмм. [4] Отчет сервера: [4] 0,0-20,0 с 11,9 МБайт 4,99 Мбит / с 0,000 мс 12/8503 (0,14%) [4] 0,0-20,0 с 1 датаграмма получена не в порядке [3] локальный порт 5001 192.168.191.201, соединенный с портом 50750 192.168.191.200 [3] 0,0-1,0 с 606 КБайт 4,96 Мбит / с 2,238 мс 1/423 (0,24%) [3] 1,0-2,0 с 610 КБайт 5,00 Мбит / с 2,739 мс 0/425 (0%) [3] 2,0-3,0 с 609 КБайт 4,99 Мбит / с 3,089 мс 1/425 (0,24%) [3] 3,0-4,0 с 609 КБайт 4,99 Мбит / с 3,605 мс 0/424 (0%) [3] 4,0-5,0 с 607 КБайт 4,97 Мбит / с 1,954 мс 0/423 (0%) [3] 5,0-6,0 с 612 КБайт 5,01 Мбит / с 2,666 мс 0/426 (0%) [3] 6,0-7,0 с 607 КБайт 4,97 Мбит / с 2,602 мс 0/423 (0%) [3] 7,0-8,0 с 612 КБайт 5,01 Мбит / с 2,960 мс 0/426 (0%) [3] 8,0-9,0 с 609 КБайт 4,99 Мбит / с 2,512 мс 0/424 (0%) [3] 9,0-10,0 с 619 КБайт 5,07 Мбит / с 2,133 мс 0/431 (0%) [3] 10,0–11,0 с 609 КБайт 4,99 Мбит / с 3,605 мс 1/425 (0,24%) [3] 11,0-12,0 с 609 КБайт 4,99 Мбит / с 2,509 мс 0/424 (0%) [3] 12,0-13,0 с 610 КБайт 5,00 Мбит / с 3,570 мс 0/425 (0%) [3] 13,0-14,0 с 609 КБайт 4,99 Мбит / с 3,077 мс 1/425 (0,24%) [3] 14,0-15,0 с 609 КБайт 4,99 Мбит / с 2,679 мс 0/424 (0%) [3] 15,0-16,0 с 609 КБайт 4,99 Мбит / с 1,887 мс 0/424 (0%) [3] 16,0-17,0 с 610 КБайт 5,00 Мбит / с 2,671 мс 0/425 (0%) [3] 17,0-18,0 с 609 КБайт 4,99 Мбит / с 3,390 мс 0/424 (0%) [3] 18,0-19,0 с 617 КБайт 5,06 Мбит / с 2,601 мс 0/430 (0%) [3] 19,0–20,0 с 612 КБайт 5,01 Мбит / с 3,525 мс 0/426 (0%) [3] 0,0-20,0 с 11,9 МБайт 4,99 Мбит / с 3,156 мс 3/8503 (0,035%) [3] 0,0-20,0 с 1 дейтаграммы получены не в порядке ++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++ C: \ iperf-2.0.5-2-win32> iperf -c 192.168.191.200 -i 1 -t 20 -r -u -b 9m ++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++ -------------------------------------------------- ---------- Сервер прослушивает UDP-порт 5001 Получение 1470 байт дейтаграмм Размер буфера UDP: 64,0 КБ (по умолчанию) -------------------------------------------------- ---------- -------------------------------------------------- ---------- Клиент подключается к 192.168.191.200, порт UDP 5001 Отправка 1470 байт дейтаграмм Размер буфера UDP: 64,0 КБ (по умолчанию) -------------------------------------------------- ---------- [4] локальный 192.168.191.201 порт 61761, связанный с 192.168.191.200 портом 5001 [ID] Интервал передачи [4] 0,0-1,0 с 1,07 МБайт 9,00 Мбит / с [4] 1,0-2,0 с 1,07 МБайт 8,98 Мбит / с [4] 2,0-3,0 с 1,07 МБайт 9,00 Мбит / с [4] 3,0-4,0 с 1,07 МБайт 8,98 Мбит / с [4] 4,0-5,0 с 1,07 МБайт 9,00 Мбит / с [4] 5,0-6,0 с 1,07 МБайт 8,98 Мбит / с [4] 6,0-7,0 с 1,07 МБайт 8,98 Мбит / с [4] 7,0-8,0 с 1,07 МБайт 9,00 Мбит / с [4] 8,0-9,0 с 1,07 МБайт 8,98 Мбит / с [4] 9,0-10,0 с 1,09 МБайт 9,14 Мбит / с [4] 10,0-11,0 с 1,07 МБайт 9,00 Мбит / с [4] 11,0-12,0 с 1,07 МБайт 8,98 Мбит / с [4] 12,0-13,0 с 1,07 МБайт 8,98 Мбит / с [4] 13,0-14,0 с 1,07 МБайт 9,00 Мбит / с [4] 14,0-15,0 с 1,07 МБайт 8,98 Мбит / с [4] 15,0-16,0 с 1,07 МБайт 9,00 Мбит / с [4] 16,0-17,0 с 1,07 МБайт 8,98 Мбит / с [4] 17,0-18,0 с 1,07 МБайт 8,98 Мбит / с [4] 18,0-19,0 с 1,09 МБайт 9,14 Мбит / с [4] 19,0-20,0 с 1,07 МБайт 9,00 Мбит / с [4] 0,0-20,0 с 21,5 МБайт 9,00 Мбит / с [4] Отправлено 15315 дейтаграмм. [4] Отчет сервера: [4] 0,0-20,0 с 21,3 МБайт 8,94 Мбит / с 0,104 мс 96/15314 (0,63%) !!!!!!!!!! [4] 0,0-20,0 с 1 датаграмма получена не в порядке [3] локальный 192.168.191.201 порт 5001, соединенный с 192.168.191.200 портом 50751 [3] 0,0-1,0 с 1,06 МБайт 8,89 Мбит / с 2,405 мс 0/756 (0%) [3] 1,0-2,0 с 1,07 МБайт 9,00 Мбит / с 2,308 мс 0/765 (0%) [3] 2,0-3,0 с 1,07 МБайт 9,00 Мбит / с 2,305 мс 0/765 (0%) [3] 3,0-4,0 с 1,07 МБайт 8,97 Мбит / с 2,290 мс 1/764 (0,13%) [3] 4,0-5,0 с 1,07 МБайт 8,98 Мбит / с 2,271 мс 1/765 (0,13%) [3] 5,0–6,0 с 1,07 МБайт 8,98 Мбит / с 2,331 мс 0/764 (0%) [3] 6,0-7,0 с 1,07 МБайт 9,00 Мбит / с 2,191 мс 0/765 (0%) [3] 7,0-8,0 с 1,07 МБайт 8,95 Мбит / с 2,314 мс 3/764 (0,39%) [3] 8,0-9,0 с 1,07 МБайт 8,98 Мбит / с 2,232 мс 1/765 (0,13%) [3] 9,0-10,0 с 1,09 МБайт 9,13 Мбит / с 2,257 мс 0/776 (0%) [3] 10,0-11,0 с 1,07 МБайт 8,98 Мбит / с 2,355 мс 0/764 (0%) [3] 11,0-12,0 с 1,07 МБайт 8,98 Мбит / с 2,301 мс 1/765 (0,13%) [3] 12,0-13,0 с 1,07 МБайт 8,98 Мбит / с 2,277 мс 0/764 (0%) [3] 13,0-14,0 с 1,07 МБайт 9,00 Мбит / с 2,332 мс 0/765 (0%) [3] 14,0-15,0 с 1,07 МБайт 9,00 Мбит / с 2,176 мс 0/765 (0%) [3] 15,0-16,0 с 1,07 МБайт 8,96 Мбит / с 2,273 мс 2/764 (0,26%) [3] 16,0-17,0 с 1,07 МБайт 8,98 Мбит / с 2,331 мс 0/764 (0%) [3] 17,0-18,0 с 1,07 МБайт 8,98 Мбит / с 2,247 мс 1/765 (0,13%) [3] 18,0-19,0 с 1,09 МБайт 9,11 Мбит / с 2,276 мс 1/776 (0,13%) [3] 19,0–20,0 с 1,07 МБайт 8,97 Мбит / с 2,394 мс 1/764 (0,13%) [3] 0,0-20,0 с 21,5 МБайт 8,99 Мбит / с 2,659 мс 11/15314 (0,072%) [3] 0,0-20,0 с 1 дейтаграммы получены не в порядке ++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++ C: \ iperf-2.0.5-2-win32> iperf -c 192.168.191.200 -i 1 -t 20 -r -u -b 9850k ++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++ -------------------------------------------------- ---------- Сервер прослушивает UDP-порт 5001 Получение 1470 байт дейтаграмм Размер буфера UDP: 64,0 КБ (по умолчанию) -------------------------------------------------- ---------- -------------------------------------------------- ---------- Клиент подключается к 192.168.191.200, порт UDP 5001 Отправка 1470 байт дейтаграмм Размер буфера UDP: 64,0 КБ (по умолчанию) -------------------------------------------------- ---------- [4] локальный 192.168.191.201 порт 61762, связанный с 192.168.191.200 портом 5001 [ID] Интервал передачи [4] 0,0-1,0 с 1,17 МБайт 9,84 Мбит / с [4] 1,0-2,0 с 1,17 МБайт 9,84 Мбит / с [4] 2,0-3,0 с 1,17 МБайт 9,84 Мбит / с [4] 3,0-4,0 с 1,17 МБайт 9,84 Мбит / с [4] 4,0-5,0 с 1,17 МБайт 9,84 Мбит / с [4] 5,0-6,0 с 1,17 МБайт 9,83 Мбит / с [4] 6,0-7,0 с 1,17 МБайт 9,84 Мбит / с [4] 7,0-8,0 с 1,17 МБайт 9,84 Мбит / с [4] 8,0-9,0 с 1,17 МБайт 9,84 Мбит / с [4] 9,0–10,0 с 1,19 МБайт 10,0 Мбит / с [4] 10,0–11,0 с 1,17 МБайт 9,84 Мбит / с [4] 11,0-12,0 с 1,17 МБайт 9,84 Мбит / с [4] 12,0-13,0 с 1,17 МБайт 9,83 Мбит / с [4] 13,0-14,0 с 1,17 МБайт 9,85 Мбит / с [4] 14,0-15,0 с 1,17 МБайт 9,83 Мбит / с [4] 15,0-16,0 с 1,17 МБайт 9,85 Мбит / с [4] 16,0-17,0 с 1,17 МБайт 9,83 Мбит / с [4] 17,0-18,0 с 1,17 МБайт 9,84 Мбит / с [4] 18,0-19,0 с 1,19 МБ 10,0 Мбит / с [4] 19,0–20,0 с 1,17 МБайт 9,84 Мбит / с [4] 0,0-20,0 с 23,5 МБайт 9,85 Мбит / с [4] Отправлено 16765 дейтаграмм. [4] Отчет сервера: [4] 0,0-20,0 с 23,3 МБайт 9,74 Мбит / с 3,421 мс 156/16764 (0,93%) !!!!!!!!!! [4] 0,0-20,0 с 1 датаграмма получена не в порядке [3] локальный 192.168.191.201 порт 5001, связанный с 192.168.191.200 портом 50752 [3] 0,0-1,0 с 1,16 МБайт 9,74 Мбит / с 2,131 мс 0/828 (0%) [3] 1,0-2,0 с 1,17 МБайт 9,84 Мбит / с 2,140 мс 0/837 (0%) [3] 2,0-3,0 с 1,17 МБайт 9,83 Мбит / с 2,099 мс 1/837 (0,12%) [3] 3,0-4,0 с 1,17 МБайт 9,84 Мбит / с 2,113 мс 0/837 (0%) [3] 4,0-5,0 с 1,17 МБайт 9,84 Мбит / с 2,105 мс 0/837 (0%) [3] 5,0-6,0 с 1,17 МБайт 9,83 Мбит / с 2,058 мс 1/837 (0,12%) [3] 6,0-7,0 с 1,17 МБайт 9,82 Мбит / с 2,165 мс 1/836 (0,12%) [3] 7,0-8,0 с 1,17 МБайт 9,84 Мбит / с 2,156 мс 0/837 (0%) [3] 8,0-9,0 с 1,17 МБайт 9,82 Мбит / с 2,135 мс 2/837 (0,24%) [3] 9,0-10,0 с 1,19 МБайт 9,97 Мбит / с 2,152 мс 2/850 (0,24%) [3] 10,0–11,0 с 1,17 МБайт 9,83 Мбит / с 2,153 мс 1/837 (0,12%) [3] 11,0–12,0 с 1,17 МБайт 9,84 Мбит / с 2,127 мс 0/837 (0%) [3] 12,0-13,0 с 1,17 МБайт 9,83 Мбит / с 2,136 мс 1/837 (0,12%) [3] 13,0-14,0 с 1,17 МБайт 9,82 Мбит / с 2,087 мс 2/837 (0,24%) [3] 14,0-15,0 с 1,17 МБайт 9,83 Мбит / с 2,061 мс 1/837 (0,12%) [3] 15,0-16,0 с 1,17 МБайт 9,84 Мбит / с 2,045 мс 0/837 (0%) [3] 16,0-17,0 с 1,17 МБайт 9,82 Мбит / с 2,203 мс 1/836 (0,12%) [3] 17,0-18,0 с 1,17 МБайт 9,84 Мбит / с 2,165 мс 0/837 (0%) [3] 18,0-19,0 с 1,17 МБайт 9,83 Мбит / с 2,154 мс 1/837 (0,12%) [3] 19,0–20,0 с 1,19 МБайт 9,98 Мбит / с 2,209 мс 0/849 (0%) [3] 0,0-20,0 с 23,5 МБайт 9,84 Мбит / с 2,548 мс 13/16764 (0,078%) [3] 0,0-20,0 с 1 дейтаграммы получены не в порядке
Настоящий вопрос остается:
Мы не переподписываем канал DC, поскольку он имеет скорость 100 Мбит / с и не может передавать более 100 Мбит / с. Однако удаленные сайты на скорости 10 Мбит / с.
- Переполняют ли буферы на удаленной стороне и отбрасывают ли пакеты?
- Формирователь трафика провайдера что-то делает с трафиком? (Будет ли трафик, поступающий от другого узла, зависеть от формирователя трафика интернет-провайдеров или только от трафика, входящего в узел (снаружи)) ...... Вы понимаете, что я имею в виду?
Почему TCP не может справиться с этим самостоятельно?
Обновление № 3 Теперь я использовал следующий сценарий:
Laptop ------- ... LAN ... --- DC switch --- Metro-Eth --- Laptop (directly connected)
NIC@10Mbps 100Mbps NIC@10Mbps
Вот потеря пакетов в DC-> удаленном направлении: (iperf 9 Мбит / с UDP тест)
[ 3] local 192.168.191.200 port 5001 connected with 192.168.191.201 port 55236
[ ID] Interval Transfer Bandwidth Jitter Lost/Total Datagrams
[ 3] 0.0- 1.0 sec 912 KBytes 7.47 Mbits/sec 2.713 ms 0/ 635 (0%)
[ 3] 1.0- 2.0 sec 1001 KBytes 8.20 Mbits/sec 2.168 ms 0/ 697 (0%)
[ 3] 2.0- 3.0 sec 1001 KBytes 8.20 Mbits/sec 2.478 ms 0/ 697 (0%)
[ 3] 3.0- 4.0 sec 999 KBytes 8.18 Mbits/sec 0.933 ms 0/ 696 (0%)
[ 3] 4.0- 5.0 sec 1001 KBytes 8.20 Mbits/sec 2.620 ms 0/ 697 (0%)
[ 3] 5.0- 6.0 sec 1001 KBytes 8.20 Mbits/sec 2.721 ms 0/ 697 (0%)
[ 3] 6.0- 7.0 sec 1001 KBytes 8.20 Mbits/sec 2.089 ms 0/ 697 (0%)
[ 3] 7.0- 8.0 sec 999 KBytes 8.18 Mbits/sec 2.641 ms 0/ 696 (0%)
[ 3] 8.0- 9.0 sec 1002 KBytes 8.21 Mbits/sec 0.896 ms 0/ 698 (0%)
[ 3] 9.0-10.0 sec 1015 KBytes 8.31 Mbits/sec 2.557 ms 0/ 707 (0%)
[ 3] 10.0-11.0 sec 999 KBytes 8.18 Mbits/sec 2.822 ms 1/ 697 (0.14%)
[ 3] 11.0-12.0 sec 999 KBytes 8.18 Mbits/sec 1.551 ms 1/ 697 (0.14%)
[ 3] 12.0-13.0 sec 998 KBytes 8.17 Mbits/sec 2.504 ms 2/ 697 (0.29%)
[ 3] 13.0-14.0 sec 995 KBytes 8.15 Mbits/sec 2.038 ms 3/ 696 (0.43%)
[ 3] 14.0-15.0 sec 991 KBytes 8.11 Mbits/sec 2.539 ms 7/ 697 (1%)
[ 3] 15.0-16.0 sec 992 KBytes 8.13 Mbits/sec 2.759 ms 6/ 697 (0.86%)
[ 3] 16.0-17.0 sec 998 KBytes 8.17 Mbits/sec 2.229 ms 2/ 697 (0.29%)
[ 3] 17.0-18.0 sec 993 KBytes 8.14 Mbits/sec 2.723 ms 4/ 696 (0.57%)
[ 3] 18.0-19.0 sec 998 KBytes 8.17 Mbits/sec 2.038 ms 2/ 697 (0.29%)
[ 3] 19.0-20.0 sec 1012 KBytes 8.29 Mbits/sec 2.575 ms 3/ 708 (0.42%)
[ 3] 0.0-20.0 sec 19.5 MBytes 8.15 Mbits/sec 2.775 ms 31/13917 (0.22%)
[ 3] 0.0-20.0 sec 1 datagrams received out-of-order
Другое направление в порядке. Однако при выполнении теста TCP направление remote-> DC не работает намного лучше, чем направление DC-> remote (около 5 Мбит / с) .......
Я не уверен, что мы достигли дна этого.
sysctl
неуверенность в Windows ... возможноnetsh
. Если бы я собирался сделать предположение о том, что не так с вашей схемой, я бы сказал, что CPE на лучевом узле настроен с большей CBS, чем со стороной концентратора ... что обычно происходит наоборот. Опять же, JDSU отбросит мяч назад к ним или позволит вам снова сосредоточиться на проблеме.Ответы:
Ссылка на наш чат обмена стека ...
Короткая история, вам нужно контролировать несоответствия скорости по обеим сторонам ваших линий метро Ethernet ... Я перерисовал вашу диаграмму для ясности ... Примечание 1
К вашему сведению, если ваш провайдер внедряет MEF- совместимые сервисы, они не формируют, а контролируют . TCP-трафик имеет тенденцию работать лучше с формированием .
Необходимость вашего собственного QoS
Похоже, вы сомневаетесь в необходимости qos , поэтому я приведу цитату из Белой книги MEF "Understanding Carrier Ethernet Throughput" , стр. 9 ... в порядке обзора, клиент на Белой книге MEF на рисунке 2 выглядит лучше, чем вы. .. они приобрели CIR 50 Мбит / с, но их UNI поставляется на 1GE ... ваш удаленный сайт имеет CIR 10 Мбит / с на 1GE UNI.
Отвечая на другие вопросы TCP в редактировании ...
Я не согласен, вы можете отправлять микропакеты на 10GE, потому что ваш DC имеет 10GE-ссылки, но UNI метро составляет 100 Мбит / с. Один открытый вопрос состоит в том, сколько буферизации у вас на коммутаторе Enterasys LAN (коммутатор A) при переходе с 10GE на 100M.
TCP обрабатывает вещи, замедляя их, когда он видит потерю пакетов ... он действительно замедляет (и может прервать соединение) серьезную потерю пакетов. Итак, TCP делает то, что должен ... как сетевой инженер, ваша цель - построить сеть с условиями, которые делают TCP счастливым.
Другие вопросы TCP из чата
Что касается необходимости TCP в буферизации и последствий отсутствия буферов :
Факт № 1: TCP нуждается в буферизации для скоростных переходов, потому что он разработан как система контроля обратной связи .
Используя аналогию с вождением: как хорошие водители, мы всегда оставляем пространство в несколько секунд между нами и автомобилем перед нами; в некотором смысле это пространство между автомобилями примерно аналогично сетевому буферу. Если человек перед нами нажимает на тормоза, когда животное бежит перед ними, пространство между нашими автомобилями (мы надеемся) не позволяет нам сбить их машину. Мы покидаем пространство, потому что нашим глазам требуется время, чтобы увидеть стоп-сигналы, нашу ногу, чтобы среагировать, и тормоза, чтобы рассеять достаточно тепла; наши глаза дают нам визуальную систему контроля обратной связи.
Аналогично, когда сеанс FTP передается со скоростью 10GE, пакеты трафика могут иметь длину до 4 МБ (в вашем случае) из -за размера окна, масштабируемого по протоколу TCP, прежде чем сокет должен остановиться и ожидать TCP ACK. Между тем, если поток трафика 10GE внезапно попадает в «Fast Ethernet», TCP должен постепенно замедляться. Глубокие буферы в сетевой передаче позволяют TCP отбрасывать гораздо меньше пакетов, когда он совершает скоростные переходы; однако, если у вас нет буферов, вы можете отбросить, возможно, 99% этого 4-мегабайтного TCP-окна, когда оно уменьшено с 10GE до 100M. Думайте об этой серьезной потере 99% как о сбое сокета TCP; TCP предсказуемо реагирует на относительно постепенную потерю пакетов. Протокол TCP гораздо менее предсказуемо реагирует на продолжающуюся серьезную потерю пакетов. Примечание 3 .
На вопрос, почему вы не должны использовать асимметричный CIR Metro Ethernet с 100M на постоянном токе и 10M на удаленном, задайте себе риторический вопрос: «Кто буферизует этот трафик со скоростью 100 Мбит / с, когда он достигает дешевого NID Ethernet 10 Мбит / с? который ваш метро? провайдер -етернет дал? "... (подсказка: никто не буферизует).
Если никто не буферизует большие (см. Примечание 2) скоростные переходы, то эти точки являются потенциальными местами для прерывистого отбрасывания трафика.
Что отбрасывается кем :
Когда TCP-трафик покидает центр обработки данных, его можно отбросить в трех местах:
Когда трафик TCP идет в центр обработки данных ...
Как уменьшить несоответствия скорости:
Пример решения EVPL :
Если у вас нет лишних денег , чтобы тратить и не можете реорганизовать вашу службу метро Ethernet, можно массировать несовпадения скорости постепенно. Я никогда не делал этого, но в принципе вы могли бы попытаться сделать скоростные переходы от 10 к 1 вместо 100 к 1 (что у вас сейчас есть как на постоянном, так и на удаленном):
Анализируя ваши
iperf
результаты ...Есть два ключевых момента, о которых следует помнить
iperf
(вся информация основана наiperf
версии 2):iperf
измеряет пропускную способность TCP или UDP ; другими словами, он игнорирует издержки заголовков TCP, UDP, IP и Ethernet. Поскольку у вас есть служба Ethernet, не забудьте изменитьiperf
результаты соответственноiperf
Клиент отправляет данные на сервер во время испытаний.Таким образом, следующий вывод показывает, что компьютер DC (в
iperf -c
режиме) подключается кiperf
серверу на удаленном сайте (192.168.x) и передает данные с DC (100M UNI) на удаленный сайт (10M UNI) ...Вывод выше ясно показывает проблемы в DC к удаленному направлению; мы должны ожидать 9 Мбит / с или более, когда все работает хорошо (т.е. вы ожидаете по крайней мере 90% емкости - 10 Мбит / с на удаленном сайте). Теперь давайте посмотрим на трафик в противоположном направлении (когда
iperf
отправляет данные с удаленного сайта в DC) ...Вы можете отправить около 80% емкости удаленного CIR, но это все же меньше, чем я ожидаю.
Иллюстрация несоответствия скорости постоянного тока (10 Гбит / с -> 100 Мбит / с)
Проблема проявляется в обоих направлениях, но
iperf
симптомы в DC -> отдаленном направлении кажутся хуже. Смотрите мой анализiperf
вывода выше.Чтобы сделать это конкретнее, давайте посмотрим на ваш файл pcap при передаче файла с вашего FTP-сервера DC (130.1.6.4) на удаленный сайт (192.168.191.2). Передача со стороны 100M Metro Ethernet ограничена в нескольких точках во время передачи. Вы можете увидеть это, если вы посмотрите на
dc-to-remote_remote-side.pcapng
pcap и отфильтруетеexpert.message contains "segment not captured"
Конечные заметки :
Примечание 1 Я выбираю значения CBS 25 КБ на 1 Мбит / с MetroEthernet CIR; это общее соотношение, используемое провайдерами ... YMMV
Примечание 2 Мое личное правило: "большой" - это скоростной переход, который значительно больше, чем переход скорости 10: 1.
Примечание 3Я не могу дать точные цифры для того, что является и не слишком много потери пакетов для TCP. Если потеря достаточно плоха для ваших приложений, то это слишком много. Мое личное правило: когда я имею дело с проводной корпоративной сетью полностью под моим собственным контролем, любая (непреднамеренная) потеря пакетов слишком велика. Тем не менее, есть некоторые модели переключателей, которые сокращают углы при буферизации; эти коммутаторы могут время от времени отбрасывать пакеты ... это суждение о том, придется ли вам жить с проблемой или покупать более качественные коммутаторы. К вашему сведению: это не всегда очевидно, но TCP периодически увеличивает скорость передачи сокета, чтобы обеспечить максимально возможную пропускную способность; многие реализации TCP знают, что они работают слишком быстро, когда видят отбрасывание пакетов.
источник
Хотя обсуждение этой проблемы было очень интересным, интернет-провайдер тем временем начал обменивать модемы DSL на разных сайтах другой торговой маркой. Они говорят, что существует проблема фрагментации пакетов. И эй, 9,5 Мбит / с в обоих направлениях без каких-либо проблем или специальных настроек.
источник