У меня есть веб-сайт, размещенный на AWS с использованием CloudFront, который из-за некоторых юридических ограничений должен быть доступен только в Великобритании и Ирландии.
После настройки географического ограничения в CloudFront и отправки домена в Google через Инструменты для веб-мастеров (в начале прошлой недели - 2 января) я заметил, что сайт еще не проиндексирован или даже не распознан Google (поиск домена или site:mysite.co.uk ни к чему не приводит).
Я думаю, что это связано с тем, что поисковый робот Google, пытаясь получить доступ к странице с серверов в США, перенаправляется на общую страницу ошибки, говорящую, что сайт предназначен только для Великобритании и Ирландии, а затем отказывается индексировать его как это похоже на сайт очень низкого качества.
Кто-нибудь сталкивался с подобной проблемой и нашел решение?
Я планирую отправить карту сайта в Инструменты Google для веб-мастеров, чтобы посмотреть, поможет ли это, но также думаю, поможет ли файл robots.txt решить эту проблему.
Если вы согласны, что посоветуете по поводу правил, которые я должен туда вставить? Я всегда использовал этот файл, чтобы просто сообщить сканерам, какие части веб-сайта следует исключить из индексации.
Любой совет будет супер полезным.
Заранее спасибо,
Адам
