Използване на Modin за по-бърза работа на Pandas
Всички трябва да сме се сблъсквали с панди в нашето пътешествие в Data Science. Това е една от най-използваните библиотеки на Python, която помага при извършването на различни операции като анализиране на данни, създаване на визуализации на данни, извършване на статистически операции и т.н.
Но Pandas може да бъде малко бавен, ако имаме работа с големи набори от данни, отнема време за зареждане на тези данни и извършване на операции върху тях. И така, как да го направим по-бързо за големи набори от данни? Можем да използваме Modin, която е библиотека на Python с отворен код, за да ускорим библиотеката Pandas.
В тази статия ще проучим как да използваме Modin и ще го сравним с Pandas.
Да започваме…
Инсталиране на необходимите библиотеки
Ще започнем с инсталирането на Modin с помощта на pip. Командата, дадена по-долу, ще направи това.
!pip install modin[dask]
Импортиране на необходимите библиотеки
В тази стъпка ще импортираме необходимите библиотеки, Pandas и Modin, защото ще сравняваме времето, необходимо на двете за зареждане на набор от данни.
import modin.pandas as mpd import pandas as pd
Сравняване на Pandas & Modin
В тази стъпка ще заредим набора от данни, като използваме както Pandas, така и Modin, за да сравним времето, необходимо и на двете. Можете да използвате всеки набор от данни за това. Използвам известния набор от данни за диабета за това.
%%time
df1 = pd.read_csv("/content/Diabetes.csv")
%%time
df2 = mpd.read_csv("/content/Diabetes.csv")
Виждате как Modin отнема по-малко време за зареждане на набора от данни, по същия начин ще спести време и при извършването на всички други операции.
Продължете, опитайте това с различни набори от данни и изпълнете операции с pandas с помощта на Modin и спестете време. В случай, че срещнете затруднения, моля, уведомете ме в раздела за отговори.
Тази статия е в сътрудничество с Пиюш Ингале.
Преди да тръгнеш
Благодаря, че прочетохте! Ако искате да се свържете с мен, можете да се свържете с мен на [email protected] или на моя Профил в LinkedIn. Можете да видите моя профил в Github за различни проекти за наука за данни и уроци за пакети. Освен това не се колебайте да разгледате моя профил и да прочетете различни статии, които съм написал, свързани с Data Science.
