Пиша скрипт на ruby, който изисква от мен да търся в Google конкретна ключова дума и да улавям и съхранявам всички върнати URL адреси (които са в хиляди) за по-нататъшна обработка. Как да постигна това в Ruby. Има ли скъпоценни камъни? Бих обмислил и вариант за използване на Bing API.
Улавяне на всички резултати от търсенето с Google в ruby
Отговори (1)
Тези двамата изглеждат страхотно.
https://github.com/mattetti/ruby-web-search
https://github.com/visionmedia/google-search
person
phil pirozhkov
schedule
07.11.2011
Благодаря Фил. Google открива ли, че не е човек, а някакъв скрипт извлича резултати от търсенето, ако използвам ruby-web-търсене?
- person Bhushan Lodha; 07.11.2011
Добър въпрос. Той използва API за търсене на Google и може да подлежи на ограничение от 100 търсения/ден или ще изисква използване на платена услуга.
- person phil pirozhkov; 07.11.2011
Тогава мисля, че използването на Bing API би било по-добър вариант, защото ако в даден момент google открие (което мисля, че ще направи), че това е скрипт, те ще ме изхвърлят. Между знаете ли параметър за опцията за страниране в rbing gem?
- person Bhushan Lodha; 07.11.2011
Опитайте да добавите
:first => 11 към опциите за търсене за втора страница, следователно не съм опитвал това сам.
- person phil pirozhkov; 07.11.2011
Не го пробвах вече. Опитах също :page_number, :start_with, :start_index, :page, :onpage, :inpage, но изглежда нищо не работи :(
- person Bhushan Lodha; 07.11.2011
Добрата практика в общността на OSS е да се разклони, да се потопите в изходния код, да добавите всички тези опции и да изпратите заявка за изтегляне. Няма да отделите твърде много време за това.
- person phil pirozhkov; 16.11.2011
Също така пуснахме наш собствен скъпоценен камък (github.com/serpapi/google-search-results -ruby), който няма ограничения.
- person Hartator; 22.12.2017
