Я использую платный скрипт геолокации, чтобы направлять пользователей на определенные сайты в зависимости от страны. Однако с меня много платят, потому что роботы продолжают сканировать каждую страницу моего большого сайта.
Если бы я запретил Google в файле robots.txt и предоставил карту сайта в файле robots.txt, мог бы Google по-прежнему индексировать мою страницу без сканирования?
Пример
User-agent: *
Disallow: /
Sitemap: sitemap.xml
