Что такое минимальный действительный файл robots.txt?

Мне не нравится, что я вижу много 404 ошибок в access.log моего веб-сервера. Я получаю эти ошибки, потому что сканеры пытаются открыть файл robots.txt , но не могут его найти. Поэтому я хочу разместить простой файл robots.txt , который предотвратит появление 404 ошибок в моем файле журнала.

Какой минимальный допустимый файл robots.txt позволяет сканировать все на сайте?

Как указано здесь , создайте текстовый файл с именем robots.txt в каталоге верхнего уровня вашего веб-сервера. Вы можете оставить его пустым или добавить:

User-agent: *
Disallow:

Если вы хотите, чтобы роботы все сканировали . Если нет, то смотрите ссылку выше для большего количества примеров.

Лучший минимум robots.txt- это совершенно пустой файл.

Любые другие «нулевые» директивы, такие как пустые Disallowили Allow: *не только бесполезные, потому что они не используются, но и добавляют ненужную сложность.

Если вы не хотите, чтобы файл был полностью пустым - или вы хотите сделать его более понятным для человека - просто добавьте комментарий, начинающийся с #символа, например # blank file allows all. Сканеры игнорируют строки, начинающиеся с #.

Я бы сказал это;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Это позволит Google сканировать все, но не позволит Google сканировать вашу панель aadminn. Что является идеальной ситуацией для вас.