Необходимо указать/запретить поддомены в robots.txt

Доброе утро.

Итак, я попал в неприятную ситуацию. Моя среда представляет собой зеркальную установку с двумя серверами. У меня есть 2 поддомена для каждого сервера, когда это необходимо. Я хотел бы запретить индексацию 2 поддоменов, не затрагивая адрес www.

Например, у меня есть sub1.domain.com/sub2.domain.com/www.domain.com. Все они указывают на один и тот же корневой веб-каталог. Простое указание запрета пользовательского агента в robots.txt не сработает, так как это удалит индексацию www.

Пожалуйста, не стесняйтесь задавать любые вопросы по мере необходимости.

Спасибо!


php robots.txt apache .htaccess
person Tim Wilson    schedule 27.07.2015    source источник
comment
непонятный вопрос, в любом случае разместите этот вопрос на webmasters.stackexchange.com   -  person user1844933    schedule 27.07.2015

Ответы (1)


arrow_upward
2
arrow_downward

Вы можете разместить файл robots.txt и назвать его, например, no-index-robots.txt. Вы бы просто поставили:

User-agent: *
Disallow: /

там. Затем в файле htaccess в корне документа добавьте следующее:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^(sub1\.|sub2\.)domain\.com$ [NC]
RewriteRule ^robots\.txt$ /no-index-robots.txt [L]
person Jon Lin    schedule 27.07.2015