Объединение пользовательских агентов в robots.txt

Могут ли пользовательские агенты быть перечислены вместе, а затем следовать их общим правилам, как в robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent davidcondrey
источник

Есть ли причина, по которой вы не пользуетесь user-agent: *последующим запретом? Список «разрешенных» пользовательских агентов длиннее, чем список, который вы хотите запретить?

Майк Хадсон

См. Также о SO: Можно ли перечислить несколько пользовательских агентов в одной строке?

Unor

Ответы:

Да. Если предположить, что имена ваших агентов указаны правильно, похоже, это должно работать. Вот ресурс, если вы хотите узнать больше. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

closetnoc
источник

Оригинальный robots.txt спецификация соглашается: «Если более чем одно поле User-агент присутствует запись описывает идентичную политику доступа для более чем одного робота.»

Илмари Каронен