Я просматриваю Википедию с помощью загрузчика веб-сайтов для Windows, я просматривал все параметры этого инструмента, чтобы найти возможность загрузки страниц Википедии за определенный период, например, с 2005 года по настоящее время.
Есть ли у кого-нибудь идеи о сканировании веб-сайта в определенный период времени?
Попробуйте API Википедии и свои навыки программирования.
langlinks (ll), чтобы получить список всех межъязыковых ссылок с данной страницы, и вы можете получить контент для определенного языка, чтобы затем переключиться на соответствующий поддомен в URL-адресе API.
- person YuS; 07.10.2011
Почему бы не загрузить базу данных SQL, содержащую всю Википедию?
Затем вы можете запросить его с помощью SQL.
Не должно быть необходимости делать веб-скрапинг; используйте MediaWiki API для прямого запроса необходимой информации. Я не уверен, что вы подразумеваете под «страницами википедии за определенный период» — вы имеете в виду последние редактируемые в определенное время? Если да, то во время просмотра я заметил вызов API, который позволяет вам просмотреть последние n ревизии; просто запросите последнюю версию и посмотрите, какая у нее дата.
Это зависит от того, предлагает ли рассматриваемый веб-сайт архив, а в большинстве случаев нет, поэтому невозможно простым способом просканировать образец, начавшийся с определенной даты. Но вы можете внедрить некоторый интеллект в свой сканер, чтобы прочитать дату создания страницы или что-то в этом роде.
Но вы также можете ознакомиться с API Википедии по адресу http://en.wikipedia.org/w/api.php
