Я хочу разрешить доступ к моему веб-сайту только одному сканеру — роботу Googlebot. Кроме того, я хочу, чтобы робот Googlebot сканировал и индексировал мой сайт только в соответствии с картой сайта.
Это правильный код?
Я знаю, что только хорошие боты следуют инструкциям robots.txt, но все же... это отправная точка
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
Карта сайта: https://example.com/sitemap.xml
