Можем ли мы использовать регулярные выражения в файле robots.txt для блокировки URL-адресов?

У меня есть несколько динамически генерируемых URL.

Могу ли я использовать регулярные выражения для блокировки этих URL-адресов в файле robots.txt?

Регулярные выражения недопустимы в robots.txt, но Google, Bing и некоторые другие боты распознают совпадения с шаблоном.

Скажем, если вы хотите заблокировать все URL-адреса, которые имеют exampleлюбое место в URL-адресе, вы можете использовать подстановочный знак *

User-agent: *
Disallow: /*example

Вы также можете использовать знак доллара $, чтобы указать, что URL-адреса должны заканчиваться таким образом. Поэтому, если вы хотите заблокировать все URL-адреса, которые заканчиваются example, но не URL-адреса, которые были в exampleдругом месте в URL-адресе, вы можете использовать:

User-agent: *
Disallow: /*example$

Более углубленная информацию для Google можно найти здесь: robots.txt приведено спецификацию , Bing здесь: Как создать файл Robots.txt и есть интерактивный путеводитель по Moz здесь