Публикации по теме 'data-quality'
Качество данных в машинном обучении: как оценить и улучшить?
Поскольку в основе машинного обучения лежат данные, производительность всех алгоритмов машинного обучения неизбежно напрямую зависит от качества входных данных. Поговорка Garbage in-Garbage out применима и к машинному обучению: использование данных плохого качества может ввести в заблуждение процесс обучения и привести к неточным моделям, увеличению времени обучения и, в конечном итоге, плохим результатам. С другой стороны, алгоритмы машинного обучения, обученные на точных, чистых и..
Важность качества данных для ИИ
Искусственный интеллект
Важность качества данных для ИИ
Качество данных — один из важнейших аспектов ИИ.
Искусственный интеллект (ИИ) трансформирует и революционизирует способы работы предприятий и организаций. Поскольку использование технологий искусственного интеллекта и машинного обучения (ML) продолжает расти, качество данных становится все более важным фактором, который организации должны учитывать, чтобы обеспечить успех своих внедрений искусственного интеллекта. Хотя качество..
Краткое руководство по исследовательскому анализу данных (EDA)
Целью этой статьи является теоретическое описание этапов EDA.
Однако существует множество руководств по выполнению EDA, даже автоматически, поскольку этот анализ служит для последующего процесса моделирования ИИ, поэтому рекомендуется выполнять его вручную с помощью известных библиотек Python, таких как: Pandas, Matplotlib и других. EDA может быть организован в виде отчета, содержащего следующие компоненты:
Источники данных: важно понимать точки данных, это позволяет понять полноту,..
Плохое качество данных: чудовище Франкенштейна для ваших моделей машинного обучения
Что общего между шеф-поваром и специалистом по данным?
Вы чувствуете себя очень голодным. Вы купили список ингредиентов в продуктовом магазине, чтобы приготовить вкусную еду на вечер. Вы начинаете готовить, добавляя различные ароматизаторы, чтобы оживить блюдо. Но вскоре поджидает проблема, которая испортит настроение на весь вечер.
Когда еда готова, вы откусываете первый кусочек, но понимаете, что что-то не так. На вкус «плохой». И тогда вы понимаете, что некоторые ингредиенты,..
«Все, что вам нужно, это внимание»😻 для управления качеством данных
Пресловутая проблема данных
Честно говоря, я не знаю ни одного специалиста по данным или инженера по машинному обучению, который сказал бы, что никогда не сталкивался с проблемами качества данных. На самом деле, большинство людей, которых я спрашивал, признают, насколько это может быть кропотливой и трудоемкой задачей. Моя подруга утверждала, что ее работа была «приманкой и подменой» из-за того, что ей приходилось заниматься инженерией и очисткой данных, а не машинным обучением...
Обнаружение экстремальных событий данных
Автоматическое обнаружение и анализ экстремальных явлений в реальных данных
Анализируя данные, мы часто думаем о метриках высокого уровня — сколько прибыли мы получили вчера? Сколько пользователей запросили эту конечную точку API? Сколько раз был куплен этот товар?
Но иногда эти высокоуровневые показатели могут сильно искажаться из-за экстремальных событий.
Например, ошибка в обработке кода скидки может позволить покупателю оформить заказ с корзиной на 10 долларов. Это может..
Мониторинг машинного обучения менее чем за 5 минут
Мониторинг моделей машинного обучения и конвейеров данных занимает всего несколько минут и несколько строк кода.
Проверка данных и мониторинг моделей машинного обучения являются основополагающими шагами для создания надежных конвейеров и ответственных приложений машинного обучения.
В этом коротком посте я покажу вам, как использовать библиотеку регистрации данных с открытым исходным кодом и платформу обсерватории ИИ для отслеживания общих проблем с вашими моделями машинного обучения,..
