Как обрабатывать категориальные данные с помощью spark-ml , а не spark-mllib ? Думал, что документация не очень ясна, кажется, что классификаторы, например. RandomForestClassifier , LogisticRegression , имеют аргумент featuresCol ,...

Теперь я использую K-means для кластеризации и следую этому руководству и API . Но я хочу использовать пользовательскую формулу для расчета расстояний. Итак, как я могу передать пользовательские функции расстояния в k-средних с помощью PySpark?

Я работаю над ранней версией Spark ( alpha-0.1 ), чтобы понять, как это началось и как это развивалось. Я также пытаюсь понять, как работает чередование наименьших квадратов. Я просматриваю пример SparkALS и вижу следующие переменные: var M...

Доброго времени суток всем. Для начала я выполняю простую задачу машинного обучения с apache-spark ml (не mllib) и scala. Мой build.sbt выглядит следующим образом: name := "spark" version := "1.0" scalaVersion := "2.11.11" libraryDependencies +=...

Sparklyr обрабатывает категориальные переменные Я пришел из среды R и привык к тому, что категориальные переменные обрабатываются в бэкэнде (как фактор). В Sparklyr довольно сложно использовать string_indexer или onehotencoder . Например, у...

В настоящее время я работаю над заданием PySpark (Spark 2.2.0), которое предназначено для обучения модели скрытого распределения Дирихле на основе набора документов. Входные документы предоставляются в виде файла CSV, расположенного в Google Cloud...

Я тренирую случайный лес с помощью pySpark. Я хочу получить csv с результатами на каждую точку в сетке. Мой код: estimator = RandomForestRegressor() evaluator = RegressionEvaluator() paramGrid = ParamGridBuilder().addGrid(estimator.numTrees,...

Как провести параллельное обучение модели для каждого раздела в spark с помощью scala? Приведенное здесь решение находится в Pyspark. Я ищу решение в scala. Как вы можете эффективно построить одну модель машинного обучения для каждого раздела в...

Я пытаюсь построить модель линейной регрессии, используя Pyspark и MLib для прогнозирования цены закрытия акций. Схема показана ниже. root |-- Date: timestamp (nullable = true) |-- Open: double (nullable = true) |-- High: double (nullable =...

Я пытаюсь сохранить обученную модель в хранилище S3, а затем пытаюсь загрузить и спрогнозировать эту модель с помощью пакета Pipeline из pyspark.ml. Вот пример того, как я сохраняю свою модель. #stage_1 to stage_4 are some basic trasnformation on...

Я обучил модель в pyspark ##Model gbt = GBTClassifier(maxIter=10) gbtModel = gbt.fit(train) predictions = gbtModel.transform(test) Здесь я сохраняю пайплайн и модель #Save pipeline...