Noindex или запретить в robots symfony

Я работаю с Symfony 1.4 и хочу деактивировать индекс Google на своем веб-сайте, какой код лучше всего использовать?

  • роботы: no-index,nofollow
  • роботы: запретить

robots.txt indexing symfony-1.4
person Mariem Eloun    schedule 26.02.2015    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Просто посмотрите здесь

User-agent: *
Disallow: /
person 4lxndr    schedule 26.02.2015

arrow_upward
0
arrow_downward

Они делают разные вещи:

  • С помощью файла robots.txt вы можете запретить сканирование вашего сайта.

  • Используя элемент meta-robots, вы можете запретить индексирование вашего сайта.

Если вы хотите один, вы не можете иметь другой.

Итак, вы должны решить:

  • Робот Googlebot никогда не должен посещать ваши URL-адреса, но он может проиндексировать ваши URL-адреса (узнав о них из разных источников): используйте robots.txt.
  • Роботу Googlebot никогда не следует индексировать ваши URL-адреса, но он может посетить их: используйте meta-robots.
person unor    schedule 28.02.2015