Вопросы с тегом «robots.txt»

В robots.txt я могу написать следующий относительный URL для файла карты сайта? sitemap: /sitemap.ashx Или я должен использовать полный (абсолютный) URL для файла карты сайта, например: sitemap: http://subdomain.domain.com/sitemap.ashx Почему мне интересно У меня есть новый сервис блогов,...

My robots.txtв Инструментах Google для веб-мастеров показывает следующие значения: User-agent: * Allow: / Что это означает? У меня недостаточно знаний об этом, поэтому ищу вашу помощь. Я хочу разрешить всем роботам сканировать мой веб-сайт, это правильная...

Есть ли какое-нибудь умное решение для хранения статических файлов в корневом каталоге приложения Flask. Ожидается, что robots.txt и sitemap.xml находятся в /, поэтому я решил создать для них маршруты: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response =...