Публикации по теме 'spark'


Учебник для начинающих по объектно-ориентированному программированию на Scala
Помимо природы программирования функций, Scala также используется как объектно-ориентированный язык программирования. Очевидно, что ООП обеспечивает более высокий уровень абстракции. С помощью классов вы можете лучше организовать код и связать воедино данные и функциональные требования. Классы часто используются в качестве типа сущности для представления определенных свойств и поведения…
Не теряйте своего пользователя!
Обзор проекта: У вас есть онлайн-приложение для потоковой передачи видео или музыки, и вы видите снижение количества пользователей или подписчиков. Или, что еще хуже, вы теряете своих платных подписчиков. Используя науку о данных, мы можем точно знать, почему мы их теряем. Когда пользователь уходит или переходит на более раннюю версию, потребитель демонстрирует некоторые признаки или закономерности того, как и почему он сделал этот шаг. Посещение пользователем справочных страниц или..
Как предсказать отток клиентов с помощью модели машинного обучения на Spark?
Исследуйте свои большие данные с помощью Spark, подход для начинающих. Если вы раньше работали с моделями машинного обучения, вам знакомо чувство, когда вы имеете дело с огромными наборами данных. В какой-то момент мы все осознаем этот барьер и решаем работать с меньшей частью данных, чтобы начать с анализа данных и моделей обучения. Введение Большие данные очень расплывчаты, но мы все можем согласиться с тем, что всякий раз, когда мы чувствуем ограничение вычислительной мощности..
Наука о данных и машинное обучение с помощью Scala и Spark (серия 02/03)
ОБУЧЕНИЕ МАШИНАМ SCALA SPARK Наука о данных и машинное обучение с помощью Scala и Spark (серия 02/03) Spark с API Scala Изобретатели Spark выбрали Scala для написания низкоуровневых модулей. В Науке о данных и машинном обучении с помощью Scala и Spark (Эпизод 01/03) мы рассмотрели основы языка программирования Scala при использовании среды Google Colab. В этой статье мы узнаем об экосистеме Spark и ее высокоуровневом API для пользователей Scala. Как и раньше, мы по-прежнему..
Scala #8: Искра: DataFrames
Узнайте, как использовать Spark DataFrames Набор данных — это набор данных, распределенных по нескольким компьютерам. Наборы данных обладают преимуществами как RDD (строгая типизация и возможность использования мощных лямбда-функций), так и оптимизированного механизма выполнения Spark SQL. Наборы данных можно создавать из объектов JVM и управлять ими с помощью функциональных преобразований. API набора данных доступен в Scala и Java, но не в Python. Однако из-за динамической природы..
Hadoop vs spark, выбирая правильный фреймворк
Поскольку современные компании полагаются на обширные знания, чтобы лучше понять своих клиентов и отрасль, такие инновации, как большие данные, набирают огромную популярность. Как и ИИ, большие данные не только попали в список главных технологических тенденций 2020 года, но и стартапы, и компании из списка Fortune 500, как ожидается, будут использовать их для быстрого роста рынка и обеспечения большей лояльности потребителей. Теперь, хотя все заинтересованы, с одной стороны, в замене своих..
Практический опыт: сравнение обучающих моделей машинного обучения с использованием SnowPark и Databricks
Этот пост был написан в соавторстве с Micah Groh , специалистом по данным, и Michael Green , старшим специалистом по данным. Искусственный интеллект. Глубокое обучение. Большие данные. Введите в Google любую из этих фраз (или, глоток, все три сразу), и вы сразу же будете завалены результатами, утверждающими, что они дают вам ноу-хау, возможность или и то, и другое для анализа и обучения ваших данных с использованием их Платформа «все в одном . Мы не утверждаем, что знаем все,..