Я веб-мастер, и я пробую рубиновый драгоценный камень Watir, который управляет действиями браузера.
Я знаю, что многие разработчики используют Watir для тестирования, но я также вижу использование Watir для сбора контента с веб-сайтов.
Интересно, как веб-мастер, могу ли я обнаружить такое использование? Могу ли я также обнаружить, что парсер использует Watir?
И как мне остановить Ватира?
Я не уверен, сможете ли вы определить, есть ли человек или скрипт Watir за браузером, посещающим ваш сайт. Watir управляет реальными браузерами, поэтому фильтрация с помощью пользовательского агента не поможет.
Если у вас есть инструмент, который позволяет отслеживать трафик в режиме реального времени, вы можете обнаружить скрейпинг большого количества трафика на один и тот же IP-адрес. Затем вы можете (временно) заблокировать IP.
На данный момент я не могу думать о каком-либо другом способе блокировки очистки экрана. Файлы типа robots.txt — это просто условность, скрипт может ее игнорировать.
Вы можете обнаружить, что кто-то очищает ваш сайт, если вы отслеживаете использование этого пользователя - если пользователь делает что-то очень быстро, то, вероятно, это робот.
Однако вы не можете определить, использует ли парсер Watir или любой другой инструмент парсинга.
