Запретить файлы без расширения

Я сейчас делаю это с помощью htaccess

RewriteRule ^view$ view.php [L]

И я ссылаюсь на /view без расширения, и все работает нормально. Но как запретить роботам индексировать /view? в robots.txt я поставил

Disallow: /view.php
Disallow: /view

Когда я захожу в инструменты для веб-мастеров и выбираю как google. Я могу получить mydomain.com/view, что не должно произойти, но когда я пытаюсь получить mydomain.com/view.php, он говорит, что заблокирован robots.txt, и это хорошо.

Как я могу заблокировать доступ к /view от роботов?


robots.txt .htaccess
person ramo    schedule 16.02.2013    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Линия

Disallow: /view

должны блокировать URL-адреса, такие как:

  • example.com/view
  • example.com/view/
  • example.com/view/foobar
  • example.com/view.php
  • example.com/viewer

Как видите, Disallow: /view.php вам вообще не понадобится.

Так что проблема видимо в другом. Это было недавнее изменение? Возможно, Google кэшировал более старый вариант вашего файла robots.txt. Я не знаю этот инструмент для получения, но, возможно, проблема связана с редиректом? Я предполагаю, что инструмент поиска Google должен быть перенаправлен на /view.php.

person unor    schedule 16.02.2013