Вопросы по теме 'robots.txt'
Как увеличить видимость многоязычного веб-сайта?
Мне сказали понять, как максимально увеличить видимость будущего веб-приложения, которое изначально доступно на нескольких языках, особенно на французском и английском.
Мне интересно понять, как роботы, такие как бот Google, очищают сайт, доступный...
100 просмотров
schedule
21.01.2024
Помогите правильно создать robots.txt
У меня есть такие динамические URL.
mydomain.com/?pg=login mydomain.com/?pg=reguser mydomain.com/?pg=aboutus mydomain.com/?pg=termsofuse
Когда страница запрашивается для ex. mydomainname.com/?pg=login index.php включает файл login.php....
187 просмотров
schedule
08.12.2022
Как настроить robots.txt, чтобы разрешить все?
Мой robots.txt в Инструментах Google для веб-мастеров показывает следующие значения:
User-agent: *
Allow: /
Что это значит? У меня недостаточно знаний об этом, поэтому ищу вашу помощь. Я хочу разрешить всем роботам сканировать мой...
129615 просмотров
schedule
21.05.2024
Robots.txt и Google Календарь
Я ищу лучшее решение, чтобы убедиться, что я делаю это правильно:
У меня есть календарь на моем веб-сайте, в котором пользователи могут взять фид календаря iCal и импортировать его во внешние календари по своему усмотрению (Outlook, iCal, Календарь...
4470 просмотров
schedule
19.03.2024
Проблемы с ограниченным URL-адресом YQL robots.txt
Я разрабатываю веб-приложение, которое включает следующий запрос YQL:
SELECT * FROM html WHERE url="{URL}" and xpath="*"
На прошлой неделе я развернул новую версию и заметил, что страница зависает на запросе YQL. Когда я вернулся вчера,...
1215 просмотров
schedule
01.11.2022
Обслуживание sitemap.xml и robots.txt с помощью Spring MVC
Как лучше всего серверировать sitemap.xml и robots.txt с Spring MVC ? Я хочу серверировать эти файлы через Controller самым чистым способом.
11867 просмотров
schedule
01.02.2024
Запретить файлы без расширения
Я сейчас делаю это с помощью htaccess
RewriteRule ^view$ view.php [L]
И я ссылаюсь на /view без расширения, и все работает нормально. Но как запретить роботам индексировать /view ? в robots.txt я поставил
Disallow: /view.php...
121 просмотров
schedule
18.01.2024
Запретить роботу Google из robots.txt и вместо этого указать карту сайта
Я использую платный скрипт геолокации, чтобы направлять пользователей на определенные сайты в зависимости от страны. Однако с меня много платят, потому что роботы продолжают сканировать каждую страницу моего большого сайта.
Если бы я запретил...
421 просмотров
schedule
01.11.2023
Noindex или запретить в robots symfony
Я работаю с Symfony 1.4 и хочу деактивировать индекс Google на своем веб-сайте, какой код лучше всего использовать?
роботы: no-index,nofollow
роботы: запретить
1225 просмотров
schedule
02.11.2023
Необходимо указать/запретить поддомены в robots.txt
Доброе утро.
Итак, я попал в неприятную ситуацию. Моя среда представляет собой зеркальную установку с двумя серверами. У меня есть 2 поддомена для каждого сервера, когда это необходимо. Я хотел бы запретить индексацию 2 поддоменов, не затрагивая...
73 просмотров
schedule
27.05.2024
Запретить индексацию PDF-файлов (Robots.txt)
У меня есть индексируемые ссылки, которые не должны. Мне нужно удалить их из Google. Что я должен ввести в robots.txt Пример ссылки http://sitename.com/wp-content/uploads/2014/02/The-Complete-Program-2014.pdf
3463 просмотров
schedule
11.02.2024
Относительно htaccess и robots.txt
Привет, это мой первый вопрос в Stackoverflow, пожалуйста, помогите. Это касается файлов htaccess и robot.txt. В октябре я создал веб-сайт WordPress из того, что раньше не было сайтом WordPress. Я создал новый сайт на поддомене существующего сайта,...
1087 просмотров
schedule
31.10.2022
У меня есть sitemap.xml, но многие веб-сайты SEO-аудита говорят, что у меня его нет. Что можно исправить?
Я сгенерировал sitemap.xml и установил его в общедоступные папки своего сайта, поэтому мой сайт www.example.com/sitemap.xml работает. Однако я использовал несколько инструментов SEO-аудита, таких как Woorank и SEO Power Suite, все они говорят, что...
557 просмотров
schedule
05.02.2024
RobotParser выдает исключение SSL Certificate Verify Failed
Я пишу простой веб-краулер на Python 2.7 и получаю исключение SSL Certificate Verify Failed при попытке получить файл robots.txt с веб-сайта HTTPS.
Вот соответствующий код:
def getHTMLpage(pagelink, currenttime):
"Downloads HTML page from...
333 просмотров
schedule
19.11.2022
Разрешить доступ только роботу Google – robots.txt
Я хочу разрешить доступ к моему веб-сайту только одному сканеру — роботу Googlebot. Кроме того, я хочу, чтобы робот Googlebot сканировал и индексировал мой сайт только в соответствии с картой сайта.
Это правильный код?
Я знаю, что только хорошие...
70 просмотров
schedule
19.11.2023
Зачем использовать Disallow: /*?s= в файле robots.txt?
Мы получили уведомление от Google Search Console о том, что один из наших постов в блоге не может быть просканирован. При проверке URL-адреса из Google Search Console он сообщает, что страница была заблокирована следующим в нашем файле robots.txt....
74 просмотров
schedule
28.05.2024
