Аз съм уеб администратор и изпробвам Watir ruby gem, който контролира действията на браузъра.
Знам, че много разработчици използват Watir за тестване, но също така виждам използването на Watir за изтриване на съдържание от уебсайтове.
Чудя се като уеб администратор мога ли да открия такава употреба? Мога ли също така да открия, че скреперът използва Watir?
Освен това как мога да спра Watir?
Не съм сигурен дали можете да откриете дали зад браузъра, който посещава вашия сайт, има човешки или Watir скрипт. Watir управлява истински браузъри, така че филтрирането по потребителски агент няма да помогне.
Ако имате инструмент, който ви позволява да наблюдавате трафика в реално време, бихте могли да откриете изстъргване на екрана от много трафик към същия IP. След това можете (временно) да блокирате IP адреса.
В момента не мога да мисля за друг начин за блокиране на изстъргването на екрана. Файлове като robots.txt са само конвенция, скриптът може да го игнорира.
Може да откриете, ако някой скрейпва вашия сайт, ако наблюдавате използването на този потребител - ако потребителят прави нещата много бързо, това вероятно е робот.
Не можете обаче да откриете дали скреперът използва Watir или друг инструмент за изстъргване.
