Мы получили уведомление от Google Search Console о том, что один из наших постов в блоге не может быть просканирован. При проверке URL-адреса из Google Search Console он сообщает, что страница была заблокирована следующим в нашем файле robots.txt.
Запретить: /*?s=
Я также спрашиваю, зачем использовать Disallow: /*?s=? Зачем беспокоиться о разборах, содержащих букву s? Если мы удалим его, каков риск? Заранее большое спасибо за любую дополнительную информацию, которой можно поделиться - P
Этот запрос обычно используется на сайтах на основе WordPress. На вашем сайте может быть несколько типов контента, и конструктор сайта хотел разрешить поиск только определенных типов контента с помощью другого способа поиска. Это имеет смысл, например, на сайте магазина, который хочет запретить пользователям искать продукты с помощью настраиваемой формы поиска, чтобы они не блуждали за кулисами сайта. У робота Google есть несколько способов определить, является ли он сайтом на основе WordPress, и, вероятно, поэтому он ищет этот конец пути.
