После перехода на HTTPS консоль поиска Google сообщает, что мой файл robots.txt блокирует все URL-адреса в карте сайта.

Вчера я установил SSL-сертификат на одном из своих доменов, обновил ссылки, карту сайта и т. Д.

Сегодня я отправился повторно отправить карту сайта в Google Search Console, и, к моему ужасу, там написано, что 5 257 из 5 310 URL-адресов в карте сайта блокируются robots.txt.

Я добавил новое свойство https в консоль поиска Google и при отправке карты сайта получаю ту же ошибку, что и в старом свойстве http.

Вот мой robots.txt, доступный по адресу https://adrdangerousgoods.com/robots.txt:

User-agent: *

Sitemap: https://adrdangerousgoods.com/sitemap.xml
Sitemap: http://adrfarligtgods.se/sitemap-swe.xml

Allow: *

Мой домен - https://adrdangerousgoods.com, а карта сайта доступна по адресу https://adrdangerousgoods.com/sitemap.xml. Я тестировал robots.txt с помощью инструмента в Google Search Console, он ничего не блокирует (очевидно, поскольку он настроен на полный доступ).

Я использую .htaccess для выполнения 301 redirects для всех запросов от http://adrdangerousgoods.com до https://adrdangerousgoods.com.

Есть идеи, что здесь происходит? Не уверен, стоит ли мне просто подождать и посмотреть, нужно ли где-то Google что-то обновить, или действительно что-то не так с моей картой сайта / robots.txt / другими материалами.


person Magnus W    schedule 30.03.2017    source источник


Ответы (1)


Замените код, как показано ниже, и попробуйте:
User-agent: *
Allow: /

Карта сайта: https://adrdangerousgoods.com/sitemap.xml
Карта сайта: http://adrfarligtgods.se/sitemap-swe.xml

Сообщите мне, если это сработает.

person Abhishek Kaushik    schedule 11.04.2017