Перезагрузка HAProxy - старые процессы никогда не прекращаются

У меня есть настройка HAProxy в режиме TCP с тайм-аутом клиент / сервер / соединение 120 с.

Когда я перезагружаю конфигурацию слишком быстро, я иногда сталкиваюсь с несколькими процессами. По замыслу, это ожидается, поэтому все установленные соединения истощаются.

Моя проблема в том, что они никогда не прекращаются, хотя все соединения закрыты.

PS Aux | HAProxy

    haproxy  12483  0.0  0.1 103748  1084 ?        Ss   20:45   0:00 /usr/sbin/haproxy -D -f /etc/haproxy/haproxy.cfg -p /var/run/haproxy.pid -sf 12405
    haproxy  12485  0.0  0.1 103748  1088 ?        Ss   20:45   0:00 /usr/sbin/haproxy -D -f /etc/haproxy/haproxy.cfg -p /var/run/haproxy.pid -sf 12405
    haproxy  12487  0.0  0.1 103748  1084 ?        Ss   20:45   0:00 /usr/sbin/haproxy -D -f /etc/haproxy/haproxy.cfg -p /var/run/haproxy.pid -sf 12405
    haproxy  25115  0.0  0.1 103748  1084 ?        Ss   21:26   0:00 /usr/sbin/haproxy -D -f /etc/haproxy/haproxy.cfg -p /var/run/haproxy.pid -sf 12488

брюки-штаны | grep haproxy

tcp        0      0 0.0.0.0:443                 0.0.0.0:*                   LISTEN      25115/haproxy
    tcp        0      0 0.0.0.0:1936                0.0.0.0:*                   LISTEN      25115/haproxy
    tcp        0      0 0.0.0.0:80                  0.0.0.0:*                   LISTEN      25115/haproxy

Я ждал дольше, чем тайм-аут 120-х годов. Я не понимаю, что их держит.

Следующий lsof для одного из этих старых процессов показывает, что для TCP LISTEN все еще есть некоторый FD

# lsof -p 12483
COMMAND   PID    USER   FD   TYPE  DEVICE SIZE/OFF   NODE NAME
haproxy 12483 haproxy  cwd    DIR   202,1     4096      2 /
haproxy 12483 haproxy  rtd    DIR   202,1     4096      2 /
haproxy 12483 haproxy  txt    REG   202,1  4381869 412355 /usr/local/sbin/haproxy
haproxy 12483 haproxy  mem    REG   202,1    62864 396140 /lib64/libnss_files-2.17.so
haproxy 12483 haproxy  mem    REG   202,1   126288 396526 /usr/lib64/libselinux.so.1
haproxy 12483 haproxy  mem    REG   202,1   141760 396148 /lib64/libpthread-2.17.so
haproxy 12483 haproxy  mem    REG   202,1    89312 396076 /lib64/libgcc_s-4.8.2-20140120.so.1
haproxy 12483 haproxy  mem    REG   202,1    98720 396150 /lib64/libresolv-2.17.so
haproxy 12483 haproxy  mem    REG   202,1    13224 396957 /lib64/libkeyutils.so.1.5
haproxy 12483 haproxy  mem    REG   202,1    43768 396966 /lib64/libkrb5support.so.0.1
haproxy 12483 haproxy  mem    REG   202,1    19512 396128 /lib64/libdl-2.17.so
haproxy 12483 haproxy  mem    REG   202,1   170784 396962 /lib64/libk5crypto.so.3.1
haproxy 12483 haproxy  mem    REG   202,1    12744 396594 /usr/lib64/libcom_err.so.2.1
haproxy 12483 haproxy  mem    REG   202,1   937952 396964 /lib64/libkrb5.so.3.3
haproxy 12483 haproxy  mem    REG   202,1   273672 396958 /lib64/libgssapi_krb5.so.2.2
haproxy 12483 haproxy  mem    REG   202,1   486512 396073 /lib64/libfreebl3.so
haproxy 12483 haproxy  mem    REG   202,1  2000552 396122 /lib64/libc-2.17.so
haproxy 12483 haproxy  mem    REG   202,1  1967496 400756 /lib64/libcrypto.so.1.0.1j
haproxy 12483 haproxy  mem    REG   202,1   445424 400761 /usr/lib64/libssl.so.1.0.1j
haproxy 12483 haproxy  mem    REG   202,1    88568 396529 /lib64/libz.so.1.2.7
haproxy 12483 haproxy  mem    REG   202,1    36856 396126 /lib64/libcrypt-2.17.so
haproxy 12483 haproxy  mem    REG   202,1   152376 396115 /lib64/ld-2.17.so
haproxy 12483 haproxy    0u  0000     0,9        0   5420 anon_inode
haproxy 12483 haproxy    4u  IPv4 1435667      0t0    TCP *:http (LISTEN)
haproxy 12483 haproxy    5u  IPv4 1435668      0t0    TCP *:https (LISTEN)
haproxy 12483 haproxy    6u  IPv4 1435673      0t0    TCP *:jetcmeserver (LISTEN)

haproxy Bastien974
источник

Хм, значит, старый процесс все еще владеет слушателем, как он выглядит? Что заполнено -sfв вашей конфигурации? На новый процесс указывают -sf 12488(и 12488он не запущен), но, похоже, 12483это тот, на который нужно было бы указать, чтобы успешно принять слушателя.

Шейн Мэдден

strace -p 13483Может помочь показать , что этот процесс делает (или заблокирован на и т.д.).

wurtel

ShaneMadden , все процессы владеют слушателями, но только последний процесс действительно слушает TCP (на основе netstat). Процесс 12488 больше не существует, он был каким-то образом прекращен. wurtel , strace показывает повторение:gettimeofday({1417009573, 706535}, NULL) = 0 gettimeofday({1417009573, 706629}, NULL) = 0 epoll_wait(0, {}, 200, 1000)

Bastien974

@ Bastien974 Удалось ли вам найти решение проблемы? Я вижу ту же проблему.

Pradeepchhetri

Это тоже случилось со мной несколько дней назад ... Нет разумного ответа, возможно, процесс так и не завершился из-за того, что соединения все еще используют его. У меня есть 2 HaProxy's, и эта ситуация никогда не случалась во вторичном, поскольку у него нет соединений во время нормальной работы.

Я дал команду SIGTERM , или вы можете просто УБИТЬ старый PID, и у вас все хорошо.

Вы можете просто получить старый PID со страницы состояния HaProxy . Освежаясь несколько раз, я случайно видел старый и новый процесс.

После уничтожения старого новый процесс был единственным, кто отвечал на запросы.

Иньиго в облаке
источник

Перезагрузка HAProxy - старые процессы никогда не прекращаются

Ответы: