Мой robots.txt в Инструментах Google для веб-мастеров показывает следующие значения:
User-agent: *
Allow: /
Что это значит? У меня недостаточно знаний об этом, поэтому ищу вашу помощь. Я хочу разрешить всем роботам сканировать мой веб-сайт, это правильная конфигурация?
Этот файл предоставит доступ всем сканерам
User-agent: *
Allow: /
Это в основном позволяет всем пользовательским агентам (*) работать со всеми частями сайта (/).
Если вы хотите разрешить каждому боту сканировать все, это лучший способ указать это в своем файле robots.txt:
User-agent: *
Disallow:
Обратите внимание, что поле Disallow имеет пустое значение, что означает согласно спецификации:
Любое пустое значение указывает, что можно получить все URL-адреса.
Ваш способ (с Allow: / вместо Disallow:) тоже работает, но Allow не является частью исходной спецификации robots.txt, поэтому он поддерживается не всеми ботами (хотя многие популярные его поддерживают, как Googlebot). Тем не менее, нераспознанные поля следует игнорировать, а для ботов, которые не распознают Allow, результат в любом случае будет таким же: если сканирование ничего не запрещено (с Disallow), сканирование разрешено для всего.
Однако формально (согласно исходной спецификации) это недопустимая запись, потому что требуется хотя бы одно поле Disallow:
В записи должно присутствовать хотя бы одно поле Disallow.
Я понимаю, что это довольно старый вопрос и на него есть довольно хорошие ответы. Но вот мои два цента для полноты картины.
Согласно официальной документации, существует четыре способа предоставить роботам полный доступ к твой сайт.
Укажите глобальный сопоставитель с запрещающим сегментом, как указано @unor. Итак, ваш /robots.txt выглядит так.
User-agent: *
Disallow:
Создайте /robots.txt файл без содержимого. По умолчанию будет разрешено все для всех типов Bots.
Не создавайте /robots.txt вообще. Что должно дать те же результаты, что и два выше.
Из документации роботов для метатегов вы можете использовать следующий метатег на всех своих страниц вашего сайта, чтобы Bots знал, что эти страницы не должны индексироваться.
<META NAME="ROBOTS" CONTENT="NOINDEX">
Чтобы это применимо ко всему вашему сайту, вам нужно будет добавить этот метатег для всех своих страниц. И этот тег следует размещать строго под вашим тегом HEAD страницы. Подробнее об этом метатеге здесь.
Это означает, что вы разрешаете каждому (*) пользовательскому агенту / сканеру доступ к корню (/) вашего сайта. Ты в порядке.
