Стандартни инструменти за уеб скрапиране, които да използвате за лични проекти и концерти.

По-долу са дадени невероятните инструменти, които улесняват работата ми.

Красива супа

Beautiful Soup е пакет на Python за анализиране на HTML и XML файлове и извличане на данни. Предназначен е най-вече за проекти за изстъргване на екрана. За преминаване, търсене и актуализиране на дърво за анализ, тази библиотека предоставя лесни методи и идиоми на Pythonic. Входящите документи се преобразуват автоматично в Unicode, а изходящите документи се преобразуват в UTF-8.

lxml

lxml е инструмент на Python за библиотеките libxml2 и libxslt C. Смята се за една от най-богатите на функции и лесни за използване библиотеки на Python за обработка на XML и HTML. Той е уникален с това, че съчетава скоростта и XML възможностите на тези библиотеки с простотата на родния API на Python и е до голяма степен съвместим с, но превъзхожда добре познатия API на ElementTree.

Python заявки

Python Requests е единствената негенетично модифицирана HTTP библиотека за Python. Той позволява на потребителите да изпращат HTTP/1.1 заявки, без да е необходимо ръчно да добавят низове на заявки към URL адреси или POST данни, кодирани във формуляр. Поддържат се различни функции, включително SSL проверка в браузъра, автоматична декомпресия, автоматично декодиране на съдържание, поддръжка на HTTP(S) прокси и много други. Заявките работят на PyPy и официално поддържат Python 2.7 и 3.4–3.7.

Скрепи

Scrapy е съвместна система с отворен код за извличане на данни от уебсайтове, необходими на потребителите. Scrapy е бърза рамка за обхождане и изчерпване на мрежата на високо ниво за Python, написана на Python. Има широк набор от приложения, включително извличане на данни, мониторинг и автоматизирано тестване. По същество това е приложна рамка за създаване на уеб паяци, които обхождат и извличат данни от уебсайтове. Scrapy изтрива информация от уебсайт с помощта на паяци, които са класове, дефинирани от потребителя (или група уебсайтове).

Селен

Selenium Python е уеб-базиран инструмент за автоматизация с отворен код, който използва Selenium WebDriver, за да предостави прост API за писане на функционални и приемливи тестове. Selenium е колекция от софтуерни решения, всяко от които има различен подход за поддръжка на автоматизация на тестовете. Пълният набор от инструменти предоставя цялостен набор от функции за тестване, съобразени с нуждите на тестване на уеб приложения от всякакъв тип. Потребителят може да използва Selenium Python API за достъп до всички функции на Selenium WebDriver по лесен и естествен начин. В момента се поддържат Python версии 2.7, 3.5 и по-нови.

Urllib

Пакетът urllib е модул на Python, който ви позволява да отваряте URL адреси. Преди изтеглях pdf файлове за концерти и изтеглях увеличени видеоклипове за работа. Той съдържа редица модули за взаимодействие с URL адреси, включително urllib.request за отваряне и четене на HTTP URL адреси и urllib. Модулът за грешка дефинира класовете изключения за urllib.request. В компонентите и urllib модулът за разбор определя стандартен интерфейс за разбиване на низове на Uniform Resource Locator (URL). RobotFileParser е единичен клас, предоставен от robotparser, който определя дали потребителски агент може или не да извлече URL адрес на уеб сайта, публикувал файла robots.txt.

И ето го. Благодаря ви, че прочетохте.

Повече съдържание в PlainEnglish.io. Регистрирайте се за нашия безплатен седмичен бюлетин. Следвайте ни в Twitter и LinkedIn. Присъединете се към нашата общност Discord.