Въведение — Почистване на данни Няма нищо общо с методите на машинно обучение, архитектурата на дълбокото обучение или други сложни подходи в областта на науката за данни. Имаме събиране на данни, предварителна обработка на данни, моделиране (машинно обучение, компютърно зрение, дълбоко обучение или друг сложен подход), оценка и накрая внедряване на модела и съм сигурен, че съм забравил нещо. Така че работата с техники за моделиране е гореща тема, но предварителната обработка на данни..

Специалистът по данни се сблъсква с набори от данни, които са непълни или съдържат данни, които не са уместни. От решаващо значение е данните да бъдат подредени за всеки проект за наука за данни, особено ако върху данните се използва алгоритъм за машинно обучение. Специалистът по данни има множество възможности, когато се опитва да попълни празнини в данните, но коя да избере?

Машинното обучение е бързо развиваща се област с безкрайни потенциални приложения. Въпреки това, както при всяка област на изследване, има предизвикателства, които трябва да бъдат разгледани, за да се постигнат точни резултати. Два от най-големите проблеми, с които се сблъсква машинното обучение, са липсващите данни и отклоненията. Липсващи данни могат да възникнат по различни причини. Може да се окаже, че данните никога не са били събирани на първо място или че са били събрани, но..