Свързани публикации 'data-quality'


Качество на данните в машинното обучение: Как да оценим и подобрим?
Тъй като данните са в основата на машинното обучение, е неизбежно работата на всички алгоритми за машинно обучение да бъде пряко повлияна от качеството на входните данни. Поговорката Боклук в боклука навън важи и в случая с машинното обучение: използването на данни с лошо качество може да подведе процеса на обучение и да доведе до неточни модели, по-дълго време за обучение и в крайна сметка лоши резултати. От друга страна, алгоритмите за машинно обучение, обучени върху точни, чисти и..
Значението на качеството на данните за AI
Изкуствен интелект Значението на качеството на данните за AI Качеството на данните е един от най-важните аспекти на AI Изкуственият интелект (AI) трансформира и революционизира начина, по който работят бизнесите и организациите. Тъй като използването на AI и технологията за машинно обучение (ML) продължава да се увеличава, качеството на данните става все по-важен фактор, който организациите трябва да вземат предвид, за да осигурят успеха на техните внедрявания на AI. Докато качеството..
Кратко ръководство за проучвателен анализ на данни (EDA)
Целта на тази история е да опише теоретично стъпките на EDA. Има множество ръководства за извършване на EDA, дори автоматично, но тъй като този анализ обслужва последващия процес на моделиране на AI, препоръчва се извършването му ръчно с помощта на добре известни библиотеки на Python като: Pandas и Matplotlib и други. EDA може да бъде организиран в отчет, съдържащ следните компоненти: Източниците на данни: разбирането на точките от данни е важно, позволява да се разбере пълнотата,..
Лошо качество на данните: Чудовището на Франкенщайн за вашите модели за машинно обучение
Какво е общото между готвача и специалиста по данни? Чувствате се изключително гладни. Купили сте списък със съставки от хранителния магазин, за да приготвите вкусно ястие за вечерта. Започвате да готвите, добавяйки различни вкусове, за да подправите нещата. Но скоро ви очаква проблем, който ще развали настроението на цялата вечер. Когато храната е готова, отхапвате първата хапка, само за да разберете, че нещо не е наред. Има „лош“ вкус. И тогава разбирате, че някои от използваните..
„Всичко, от което се нуждаете, е внимание“😻 за управление на качеството на данните
Прословутият проблем с данните Честно казано, не познавам специалист по данни или инженер по машинно обучение, който би казал, че никога не е срещал проблеми с качеството на данните. Всъщност повечето хора, които съм питал, признават колко старателна и отнемаща време задача може да бъде. Един мой приятел твърдеше, че работата й е „примамка и превключвател“ поради количеството инженерство на данни и почистване, което трябваше да направи срещу машинно обучение. Управлението на..
Откриване на екстремни събития с данни
Автоматично откриване и разбиране на екстремни събития в данните от реалния свят Когато анализираме данни, често мислим за показатели на високо ниво - колко приходи сме генерирали вчера? Колко потребители направиха заявка за тази крайна точка на API? Колко пъти е закупен този продукт? Но понякога тези показатели на високо ниво могат да станат силно изкривени от екстремни събития. Например грешка при обработката на код за отстъпка може да позволи на клиент да плати с пазарска..
ML мониторинг за под 5 минути
Необходими са само няколко минути и няколко реда код, за да наблюдавате вашите ML модели и канали за данни. Валидирането на данни и мониторингът на ML модела са основополагащи стъпки за изграждане на надеждни тръбопроводи и отговорни приложения за машинно обучение. В тази кратка публикация ще ви покажа как да използвате библиотека за регистриране на данни с отворен код и платформа за наблюдение на AI, за да наблюдавате често срещани проблеми с вашите ML модели, като отклонение на..