Я пишу скрипт на рубине, который требует, чтобы я искал в Google определенное ключевое слово, а также перехватывал и сохранял все возвращаемые URL-адреса результатов (которые исчисляются тысячами) для дальнейшего процесса. Как мне добиться этого в Ruby. Есть ли драгоценный камень? Я бы также рассмотрел вариант использования Bing API.
Перехват всех результатов поиска Google в ruby
Ответы (1)
Эти двое выглядят потрясающе.
https://github.com/mattetti/ruby-web-search
https://github.com/visionmedia/google-search
person
phil pirozhkov
schedule
07.11.2011
Спасибо, Фил. Обнаруживает ли Google, что это не человек, а какой-то скрипт, извлекающий результаты поиска, если я использую ruby-web-search?
- person Bhushan Lodha; 07.11.2011
Хороший вопрос. Он использует Google Search API и может иметь ограничение в 100 поисков в день или требовать использования платной услуги.
- person phil pirozhkov; 07.11.2011
Тогда я думаю, что использование Bing API будет лучшим вариантом, потому что, если в какой-то момент Google обнаружит (что, я думаю, они обнаружат), что это скрипт, они выбросят меня. Знаете ли вы параметр для опции разбивки на страницы в rbing gem?
- person Bhushan Lodha; 07.11.2011
Попробуйте добавить
:first => 11 к параметрам поиска для второй страницы, поэтому я сам этого не пробовал.
- person phil pirozhkov; 07.11.2011
Нет уже пробовал. Я также пробовал :page_number, :start_with, :start_index, :page, :onpage, :inpage, но ничего не работает :(
- person Bhushan Lodha; 07.11.2011
Хорошей практикой в сообществе OSS является разветвление, погружение в исходный код, добавление всех этих опций и отправка запроса на включение. Вы не потратите на это слишком много времени.
- person phil pirozhkov; 16.11.2011
Мы также выпустили собственный гем (github.com/serpapi/google-search-results). -ruby), который не имеет ограничений.
- person Hartator; 22.12.2017
