Публикации по теме 'data-preprocessing'


Начало работы с наукой о данных
В сегодняшнем быстро развивающемся мире наука о данных стала будущим, и компании вкладывают значительные средства в эту область. Машинное обучение, глубокое обучение и компьютерное зрение — вот некоторые из трендовых технологий, частью которых хочет стать каждый. Но как начать это бесконечное путешествие? В этой статье я объясню основные источники и материалы, которые, несомненно, помогут вам понять более глубокие концепции. Более того, я постарался включить как можно больше бесплатных..
Качество данных в машинном обучении: как оценить и улучшить?
Поскольку в основе машинного обучения лежат данные, производительность всех алгоритмов машинного обучения неизбежно напрямую зависит от качества входных данных. Поговорка Garbage in-Garbage out применима и к машинному обучению: использование данных плохого качества может ввести в заблуждение процесс обучения и привести к неточным моделям, увеличению времени обучения и, в конечном итоге, плохим результатам. С другой стороны, алгоритмы машинного обучения, обученные на точных, чистых и..
Шесть шагов для оттачивания ваших данных: предварительная обработка данных, часть 3
Это руководство отвечает на все следующие вопросы: Какие недостающие значения? Когда возникает проблема пропущенных значений? Почему так важно обрабатывать отсутствующие значения? Как обрабатываются отсутствующие числовые значения? Как обрабатываются категориальные пропущенные значения? Пока что у нас есть четкое представление о том, как импортировать все необходимые библиотеки и как импортировать соответствующий набор данных, а также отдельные функции и целевые переменные...
4 метода для улучшения ваших исследований в проектах машинного обучения
В моем посте Рекомендации по исследованиям для проекта машинного обучения я объяснил, как разделить любые проекты машинного обучения на два этапа (исследования и разработки), а также некоторые уловки для повышения уровня исследования. В этом посте я подробно расскажу о некоторых методах и инструментах, которые помогут вам в совершенствовании ваших исследований. Работая на этом этапе, вы должны стремиться к простоте и сосредоточенности. Макет проекта Это макет папок, который я обычно..
Введение в выбор экземпляра в интеллектуальном анализе данных
Выбор экземпляра играет важную роль в предварительной обработке данных для машинного обучения. Цель состоит в том, чтобы уменьшить объем данных, используемых для обнаружения знаний. В идеале это приведет к модели с (как минимум) такой же производительностью, как у модели, обученной на всех данных. Большая часть этой записи в блоге, если не указано иное, взята из главы 8 García et al [1]. Цели выбора инстанса Основная цель выбора экземпляра состоит в том, чтобы найти модель..
Предварительная обработка данных для анализа настроений в обзорах Zomato
Этот блог является первым в серии анализа настроений по данным Zomato. Существует множество популярных моделей, таких как SVM, Random Forest, Naive Bayes и т. д., которые можно использовать в анализе настроений. В этой серии мы собираемся использовать модель LSTM вместе с Feedforward, чтобы предсказать настроение обзора. Прежде чем мы перейдем к архитектуре модели, нам нужно выполнить некоторые задачи предварительной обработки данных, чтобы нашей модели было удобно изучать функции и..
Предварительная обработка данных: раскрытие магии машинного обучения с помощью чистых, преобразованных и организованных…
Предварительная обработка данных похожа на волшебную палочку машинного обучения! Это важный первый шаг, когда мы преобразуем необработанные, беспорядочные данные из различных источников в чистую, организованную и значимую информацию, с которой могут работать наши модели машинного обучения. Представьте, что вы наводите порядок в своей комнате перед тем, как приступить к творческому проекту — вы ведь не хотели бы работать в грязном помещении, верно? Во время предварительной обработки мы..