Noindex или disallow в robots symfony

Работя със Symfony 1.4 и искам да деактивирам индекса на Google в моя уеб сайт, кой е най-добрият код, който ще трябва да използвам?

  • роботи: no-index,nofollow
  • роботи: забрани

robots.txt indexing symfony-1.4
person Mariem Eloun    schedule 26.02.2015    source източник

Отговори (2)


arrow_upward
0
arrow_downward

Просто погледнете тук

User-agent: *
Disallow: /
person 4lxndr    schedule 26.02.2015

arrow_upward
0
arrow_downward

Те правят различни неща:

  • Като използвате robots.txt, можете да забраните обхождането на вашия сайт.

  • Като използвате елемент meta-robots, можете да забраните индексирането на вашия сайт.

Ако искате едното, не можете да имате другото.

Така че трябва да решите:

  • Googlebot никога не трябва да посещава вашите URL адреси, но може да индексира вашите URL адреси (научавайки за тях от различни източници): използвайте robots.txt.
  • Googlebot никога не трябва да индексира вашите URL адреси, но може да ги посети: използвайте meta-robots.
person unor    schedule 28.02.2015