Има ли градивни елементи за търсачка, която да изтрива други сайтове?

Има няколко блока в Python, които можете да използвате.

1. beautifulsoup [http://www.crummy.com/software/BeautifulSoup/] за анализиране на HTML. Може да се справи и с лош код, а неговият API е много лесен... много по-добър от който и да е DOM-подобен инструмент за мен. Моят приятел го използва, за да изтрие стария си phpbb форум с успех. Има доста добри документи.
2. mechanize [http://wwwsearch.sourceforge.net/mechanize/] е симулиращ уеб браузър http клиентска библиотека. Той обработва бисквитки, попълване на формуляри и така нататък. Също така лесен за използване, но помага, ако разбирате как работи http.
3. http://dev.scrapy.org/ -- това е сравнително ново нещо: цяла рамка за скрейп въз основа на усукани. Не съм си играл много с него.

Използвам първите две за моите нужди; е.е. има нужда от 20 реда код, за да получи инструмент за автоматично тестване за 3-етапна анкета, със симулация на изчакване потребителят да въведе данни и т.н.

Направих скрийн-скрейпер в Ruby, който отне около пет минути. Явно този пич го има до 60 секунди! Не съм сигурен дали Ruby е толкова мащабируем или бърз, колкото това, което търсите, но никога не съм виждал по-бърз път до доказателство за концепция или прототип.

Тайната е библиотека, наречена "hpricot", която е създадена точно за тази цел.

Не знам нищо за PHP или Python или какво е налично за тези системи/езици за разработка.

Късмет!