не удалось получить страницу, поскольку она запрещена файлом robots.txt

Я пытаюсь проверить свою страницу с помощью твиттер-тегов в валидаторе твиттер-карт. Но все время я получаю сообщение об ошибке: «ОШИБКА: не удалось получить страницу, поскольку она запрещена файлом robots.txt».
Если я попытаюсь просмотреть файл robots.txt: «http://domain.subdomain.com/robots.txt' выглядит так:

User-Agent: Twitterbot
 Disallow:

Я попытался изменить его на:

User-Agent: *
 Disallow:

Но это не помогло. Где я не прав?


server preview html twitter twitter-card
person Slava 111    schedule 14.05.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

У меня была такая же проблема, и, покопавшись в ней, я понял, что TwitterBot следит за внутренними переадресациями и их тоже нельзя блокировать.

Я использовал следующий сайт robots.txt Validator and Testing Tool, чтобы узнать, что происходит. . Если вы установите флажок «Проверить ресурсы», он будет следовать всем редиректам.

Вы можете проверить свою карту Twitter здесь: Проверка карты

person Liron    schedule 14.10.2020