Помогите правильно создать robots.txt

У меня есть такие динамические URL.

mydomain.com/?pg=login
mydomain.com/?pg=reguser
mydomain.com/?pg=aboutus
mydomain.com/?pg=termsofuse

Когда страница запрашивается для ex. mydomainname.com/?pg=login index.php включает файл login.php.

некоторые URL-адреса преобразуются в статические URL-адреса, такие как mydomain.com/aboutus.html mydomain.com/termsofuse.html.

Мне нужно разрешить индекс mydomainname.com/aboutus.html, mydomainname.com/termsofuse.html и запретить mydomainname.com/?pg=login, mydomainname.com/?pg=reguser, пожалуйста, помогите управлять моим файлом robots.txt.

У меня также есть mydomainname.com/posted.php?details=50 (детали могут иметь любое число), которое я преобразовал в mydomainname.com/details/50.html. Мне также нужно разрешить все URL-адреса этого типа.


robots.txt
person user447487    schedule 14.09.2010    source источник
comment
Правильно ли говорить, что вы хотите разрешить все URI *.html и запретить все URI *.php для роботов?   -  person pjmorse    schedule 14.09.2010

Ответы (1)


arrow_upward
0
arrow_downward

Если вы хотите индексировать только свои статические страницы, вы можете использовать это:

Disallow: /*?

Это заблокирует все URL-адреса, содержащие вопросительный знак.

Если вы хотите продолжать индексировать опубликованные.php?details=50 URL-адреса и у вас есть ограниченный набор параметров, которые вы хотите запретить, вы можете создать запись о запрете для каждого из них, например:

Disallow: /?pg=login

Или просто запретить все, что начинается с /?

Disallow: /?*

Вы можете использовать такой инструмент, чтобы протестировать выборку URL-адресов, чтобы увидеть, будет ли она соответствовать им или нет.

http://tools.seobook.com/robots-txt/analyzer/

person CrackerJack9    schedule 11.08.2011