Я пытаюсь создать веб-скраппер, который, например, собирает новостные статьи с Reuters.com. Я хочу получить название и дату. Я знаю, что в конечном итоге мне нужно будет просто извлечь исходный код из каждого адреса, а затем проанализировать HTML, используя что-то вроде JSoup.
У меня вопрос: как я могу убедиться, что делаю это для каждой новостной статьи на Reuters.com? Как я узнаю, что нашел все адреса reuters.com? Есть ли API, которые могут помочь мне в этом?
То, о чем вы говорите, называется веб-скрапинг плюс веб-сканирование. Что вам нужно сделать, так это посетить каждую ссылку, соответствующую определенным критериям (сканирование), а затем очистить содержимое (сканирование). Я никогда ими не пользовался, но вот две Java-фреймворка для работы.
Конечно, вам придется использовать jsoup (или аналогичный) для анализа содержимого после того, как вы собрали URL-адреса.
Обновление Проверьте это Отправка файлов cookie в запросе с помощью crawler4j? для лучшего списка поисковых роботов. Nutch довольно хорош, но очень сложен, если вам нужно только просканировать один сайт. Crawler4j очень прост, но я не знаю, поддерживает ли он файлы cookie (и если это имеет значение для вас, это нарушит договоренность).
Попробуйте этот сайт http://scrape4me.com/
Мне удалось сгенерировать этот URL для заголовка: http://scrape4me.com/api?url=http%3A%2F%2Fwww.reuters.com%2F&head=head&elm=&item[][DIV.topStory]=0&ch=ch
