Является ли грейлистинг эффективным методом предотвращения спама?

50

Я использовал серые списки на своих серверах много лет, но я не знаю, насколько они эффективны в настоящее время.

Это все еще хорошо для борьбы со спамом в 2012 году?

Или типичный спамер MTA теперь может пересылать электронные письма в сером списке?

neu242
источник
2
@ Майкл: Для борьбы со спамом. Прочитайте вопрос :)
neu242
1
Мы можем иметь дело с плюсами и минусами
серого списка
1
Я немного изменил название. Теперь это выглядит лучше?
neu242
2
@MichaelHampton Мм, интересные ... что спам предотвращения меры вы используете , которые не вызывает CEO жаловаться? Или, может быть, если уместнее, какой у вас генеральный директор, который не является испорченным, плаксивым $ # ^ & * @, который найдет, на что жаловаться абсолютно во всем?
HopelessN00b
1
@ HopelessN00b Наш генеральный директор не такой. Я не буду судить о чьей-либо личности или поведении, основываясь исключительно на их профессии.
darvids0n

Ответы:

6

Обновление с 2018 года:

Я всегда был большим поклонником грейлистинга. По этим причинам:

  • Он не только помечает спам, но и блокирует его.
  • Законно использовать в качестве поставщика услуг в Германии (в отличие от удаления спам-писем после получения)
  • Это просто и эффективно.
  • Это добавляет нагрузку спамеру, а не получающему почтовому серверу. Таким образом, даже несмотря на то, что спамеры могут пройти через ваш серый список, вы заставили их машину работать усерднее и, таким образом, они могут отправить меньше спама.
  • Он практически не блокирует легальную почту, в отличие от RBL на основе IP и т. Д.
  • Это приводит к задержкам, но вы можете вносить в белый список клиентов (отправляющие серверы) с частыми контактами и получателей из белого списка, которые действительно нуждаются в электронной почте с минимальной задержкой. Помните, что использование спам-фильтра, такого как Spamassasin, непосредственно для всей вашей почты (без использования серых списков) может также привести к задержкам в обычной почте: некоторые спаммеры отправляют на ваш сервер так много писем, что спам-фильтр перегружается. Таким образом, он отправит временный сбой (например, 451) на сервер-отправитель дальнейших входящих писем. Это приводит к тем же эффектам, что и серый список, т. Е. Почтовые сообщения задерживаются, за исключением того, что создание белого списка не так просто. Конечно, вы можете использовать облачный спам-фильтр, который масштабируется до любой мощности, которую имеет спамер, но это может быть дороже.
  • Ограниченное или не требующее обслуживания. Нет черного списка, который нужно обновлять и менять со временем. Нет шаблонных правил, которые нужно обновлять.

Но, к сожалению, в моей статистике я вижу, что в этом году грейлистинг становится все менее и менее эффективным. Количество задержанных сообщений действительно быстро приближается к количеству серых сообщений, а это означает, что количество заблокированного спама уменьшается.

За последний год (365 дней) 55% сообщений из серого списка в конечном итоге были переданы через серый список, то есть 45% были заблокированы.

статистика по годам

статистика по годам

Обратите внимание, что эта диаграмма включает временные рамки, в которых сообщения из серого списка не учитываются из-за ошибки конфигурации mailgraph, а только из-за задержек. Это означает, что этот расчет немного переоценивает задержанные сообщения, фактически заблокировано еще немного писем.

В прошлом месяце задержали 64% и заблокировали только 36%.

статистика рассылки за месяц

статистика рассылки за месяц

За последнюю неделю 75% задержались и только 25% заблокировали.

недельная статистика

недельная статистика

Более того, если посмотреть на общее количество заблокированных сообщений: в этом месяце серые списки заблокировали 4 411 сообщений, а Amavisd (spamassasin) заблокировал 22 763 сообщения. Это означает, что только 16% спама блокируется серыми списками, а все остальное - amavisd.

Более того, все больше провайдеров облачной рассылки отправляют с нескольких сотен IP-адресов. Они пытаются каждую попытку передачи с другого IP. Таким образом, серый список может заблокировать эти письма даже на несколько дней. Поэтому вам нужно внести в белый список всех «хороших» почтовых провайдеров. Это вводит новые усилия по обслуживанию.

Я всегда был большим поклонником серых списков, но, к сожалению, я вижу, что он становится все менее и менее эффективным, и я думаю, что скоро отключу его, так как он начинает без необходимости задерживать только 14% моих писем, не блокируя много спама. ,

Невероятная статистика

Количество заблокированных писем в моей (и вашей) статистике также может вводить в заблуждение. Давайте возьмем одно электронное письмо от крупного облачного почтового провайдера (такого как Microsoft * .outbound.protection.outlook.com), которое еще не занесено в белый список. Первая попытка не удалась. Вторая и третья попытки передачи исходят от двух других серверов (IP-адресов), поэтому снова происходит сбой, поскольку триплет не совпадает. Теперь четвертая попытка снова приходит с первого сервера и завершается успешно. Это будет засчитываться как одна задержанная передача и четыре серых списка сообщений. Мои расчеты, приведенные выше, показывают, что 1/4 = 25% серых сообщений было отложено, а 3/4 = 75% заблокировано. Но на самом деле ни одно сообщение не было заблокировано. Теперь мы заносим в белый список серверы этих почтовых провайдеров, поэтому они больше не будут занесены в серый список. Что произойдет, так это то, что количество серых сообщений уменьшится больше, чем количество задержанных сообщений. Это означает, что количество заблокированных сообщений, которые мы рассчитываем, уменьшится. Но это не правда, что меньше сообщений были заблокированы.

Фактически, то, что я делал с февраля 2017 года, - это добавление в белый список все большего числа провайдеров облачной почты для борьбы с проблемой длительных задержек из-за серых списков. Это может объяснить (частично?), Почему количество заблокированных писем, которые я рассчитываю, быстро уменьшается. Так что, может быть, я все время думал, что greylisting блокирует много спама, но количество заблокированного спама все время было намного меньше, просто оно было неправильно рассчитано. Так что будьте осторожны при интерпретации вашей статистики.

Кристофер К.
источник
1
Это очень интересно - спасибо за публикацию исследования!
Дженни Ди говорит восстановить Монику
+1 от меня - время пересмотреть мои данные. Я согласен, что эти кровавые раздражающие люди, которые перебрасывают почту вокруг своего внутреннего сервера, так что каждая попытка приходит с другого сервера, будут искажать данные. Я не уверен, что куплю ваш последний раздел, в котором, похоже, утверждается, что все или наиболее очевидные преимущества использования серых списков вызваны чрезмерным подсчетом входящих электронных писем.
MadHatter поддерживает Монику
Статистика моего личного почтового сервера за последний год (по состоянию на июль 2019 года) показывает, что только 15% сообщений были задержаны, а 85% заблокированы. Я посмотрел на заблокированных отправителей, и они выглядят как спамеры. Тем не менее, я не грейлистирую все, а только отправителей, занесенных в черный список RBL (zen.spamhaus.org, spam.dnsbl.sorbs.net и psbl.surriel.com). Хорошо настроенный серый список все еще кажется эффективным.
Микау
1
@michau Конечно, серые списки подозрительных писем эффективнее, чем все серые. Rspamd - интересный, довольно новый спам-фильтр, который делает это довольно хорошо. Это серые письма, которые достигают низкого балла за спам. Так что, как и вы, он также будет отображать серые письма от отправителей, перечисленных в списке RBL (до тех пор, пока почта не наберет достаточно высокую оценку для отклонения). Но это также относится к серым спискам писем, которые соответствуют нескольким правилам спама, но не получают достаточно высокий балл для отклонения.
Кристофер К.
55

Последний раз я смотрел на это количественно в июле этого года (2012). В июле мой почтовый сервер получил около 46 000 попыток доставки почты; из них около 1750 возвратились и получили разрешение от серого списка (и прошли действительный домен отправителя, SPF и некоторые другие тесты, не основанные на контенте). Из них около 1500 были отфильтрованы моей контентной фильтрацией.

Предполагая, что эти 44 250 электронных писем были спамом (поскольку они не могли пройти серые списки, я думаю, что это справедливое предположение), если бы не серые списки, моя фильтрация на основе контента должна была бы обрабатывать 46 000 писем вместо 1750.

Увеличение нагрузки на контентную фильтрацию в двадцать пять раз потребовало бы от меня более мощных процессоров и большего объема памяти. Это, в свою очередь, увеличило бы мои ежемесячные расходы на хостинг из-за дополнительного энергопотребления (и, возможно, размера сервера).

Короче говоря, последний раз, когда я считал, да, серый список все еще имел очень, очень хороший смысл как часть полной системы фильтрации спама . Я активировал его для клиентов в последние несколько недель, и все очень довольны снижением нагрузки на их системы фильтрации контента.

Изменить : я отмечаю, что я не ответил на вопрос о том, становится ли он менее эффективным с течением времени. Когда я включил его в конце 2006 года, по моим оценкам, он отфильтровывал около 95% спама. 1750 из 46 000 - это около 4%, поэтому мои данные показывают, что это не станет менее эффективным за этот период времени.

MadHatter поддерживает Монику
источник
2
Именно такой ответ я искал. Спасибо!
neu242
3
Я думаю, что имеет смысл взглянуть на это количественно в вашей конкретной ситуации. Я только что проверил, и мой почтовый сервер видит очень разные цифры: всего за август и сентябрь, 460214 5xx отклоняет, 12331 4xx отклоняет и 22665 принимает. Таким образом, 4,6% принимаются и только 2,6% спама (в лучшем случае) блокируются серыми списками. В 5xx отказах доминирует 8,4% неизвестного пользователя и> 90% RBL. (И я даже не запускаю чрезвычайно агрессивные RBL. Абсолютное большинство блоков RBL - XBL .) Опять же, трафик, перехваченный RBL, никогда не попадает в серый список.
CVN
7
Интересно, но я не могу сделать прямое сравнение, потому что я не буду, в принципе, использовать любой RBL в качестве яркого теста для получения; Я использую их только как вкладчиков в счет spamassassin. Я сам слишком часто, по совершенно фиктивным причинам, был на RBL, чтобы доверить работу своей почты чьему-то обоснованию. Однако, если бы мы предполагали, что все эти отклонения XBL взяты из ботнетов «забей и забывай», то если вы сначала занесете в серый список, как и я, вы увидите сопоставимые проценты для меня.
MadHatter поддерживает Монику
1
Да, я настоятельно рекомендовал изменить его, чтобы он был только одним из авторов спама и полагался на серые списки, именно по той причине, которую вы упомянули. Тем не менее, это не опровергает мысль, которую я высказал, о том, что разные серверы могут видеть очень разные модели трафика, и единственный способ действительно узнать, эффективен ли грейлистинг, состоит в том, чтобы взглянуть на него с точки зрения вашей конкретной настройки.
CVn
1
Я собирался снова не согласиться, но на самом деле я полностью согласен с вами. Для всех пользователей лучший способ выяснить, является ли это эффективным методом в вашем почтовом потоке, - это попробовать его в своем почтовом потоке и измерить - Майкл говорит с умом!
MadHatter поддерживает Монику
8

спам-боты, как правило, до сих пор не делают очереди сообщений, но некоторые из них просто посылают спам дважды каждому получателю с задержкой в ​​несколько минут, чтобы победить грейлистинг. Кроме того, в настоящее время спам от спам-ботов больше не является реальной проблемой, спам от скомпрометированных учетных записей Yahoo и т. д. поймать гораздо сложнее.

С этой точки зрения грейлистинг не так эффективен, как раньше. В сочетании с другими методами противодействия спаму он все еще может помочь, например, если ваш домен часто входит в «первую партию» спам-кампаний, серый список может помочь задержать сообщение достаточно долго, чтобы черные / доменные / черные списки могли наверстать упущенное, так что если спам проскочил бы через ваши фильтры с первой попытки подключения, возможно, он обнаружился со второй попытки.

Грифиус
источник
Подавляющее большинство попыток доставки Спама происходит от Спам-ботов. Я использую другие методы, чтобы отговорить спам-ботов, и большинство из них сдается, прежде чем их можно будет занести в серый список. На моем сервере Greylisting по-прежнему блокирует около половины отправителей, он обрабатывает. Я освобождаю отправителей, которые с большой вероятностью могут пройти грейлистинг.
BillThor
5

Как тангенциальная проблема, мне не нравится, когда я применяю такую ​​технику, как грейлистинг, не имея возможности измерить ее эффективность. В Debian с postfix в качестве MTA и postgrey в качестве движка политики серых списков, вы можете просто apt-get install mailgraphполучить простой график принятой и отклоненной почты. Mailgraph - немного старая школа и полностью автономная, но она работает, и ее данные или методы могут быть легко интегрированы в более сложную современную систему мониторинга.

Пол Гир
источник
3

Получите почтовый фильтр на основе репутации. Greylisting - немного старая школа и не всестороннее решение. Существуют обходные пути (с точки зрения спаммера) и непредсказуемые сроки доставки почты для ваших пользователей ...

Либо перенесите фильтрацию в облачную службу, либо купите устройство, которое имеет доступ к такому списку и имеет другие методы проверки спама. Обычно я рекомендую Barracuda для их устройства или для решения облачной фильтрации . Оба варианта имеют эффект масштаба и зрелую эвристику, которые обеспечивают более чистое общее решение.

Если посмотреть на отчет моего спам-фильтра Barracuda Spam Filter за сентябрь 2012 года, из 98 457 сообщений 1623 были отключены до того, как они попали на почтовый сервер из-за плохих получателей ... 34 488 были заблокированы как СПАМ . Только 96 сомнительных сообщений сделали это до конца. Те, которые были оценены как СПАМ, представляли собой комбинацию репутации, оценки, намерения, трех RBL, байесовской фильтрации и пользовательских наборов правил. Все в одном блоке ... Все обрабатывается до попадания на относительно небольшой почтовый сервер.

введите описание изображения здесь

См. Также: Борьба со спамом. Что я могу сделать как: администратор электронной почты, владелец домена или пользователь?

ewwhite
источник
2
Интересно, но вы не отвечаете на мои вопросы относительно серых списков. И ваша статистика без чисел
серого списка
@ neu242 Дело в том, что 1). Greylisting имеет известные недостатки, 2). нельзя рассматривать как целое решение и 3). Существуют более эффективные способы обнаружения спама, поскольку процессы развивались в течение последних нескольких лет.
2012 года
4
Greylisting - это, конечно, только часть моего инструментария для предотвращения спама. Моя установка очень похожа на @ MadHatter's. Но так как я спросил конкретно о грейлисте, я как бы ожидал конкретных ответов грейлистов.
neu242
1
@ewwhite: на самом деле, я не понимаю, как это было не совсем понятно. Для справки: я проверил историю вопроса. Не видел изменений, которые повлияли бы на это каким-либо образом.
Юрген А. Эрхард
2
@ JürgenA.Erhard Вы немного опоздали с этим. А твой пост грубый. Любое профессиональное решение для фильтрации спама, внедренное сегодня, не должно полагаться исключительно на серый список. Если у вас есть какие-либо другие проблемы, см. Здесь вопрос о спаме по каноническим ошибкам сервера .
2012 года