Изпълнявам spark master и slaves в самостоятелен режим, без Hadoop клъстер. Използвайки spark-shell, мога бързо да създам FPGrowthModel с моите данни. След като моделът е изграден, се опитвам да разгледам моделите и честотите, уловени в модела, но...

Може ли някой да ми обясни каква е целта на функцията setThresholds() върху градиентно подсилени дървета и произволна гора в Apache Spark? Няма документация или пример в официалния уебсайт на Apache Spark, където се използва тази функция и съм...

Ако паролите са хеширани с 1.2.x, вероятно трябва да добавите grails.plugin.springsecurity.password.hash.iterations=1 към Config.groovy, тъй като новата стойност по подразбиране е 10000.

Създадох клъстер Spark от 8 машини. Всяка машина има 104 GB RAM и 16 виртуални ядра. Изглежда, че Spark вижда само 42 GB RAM на машина, което не е правилно. Знаете ли защо Spark не вижда цялата RAM на машините? PS: Използвам Apache Spark...

Аз съм много нов в алгоритмите за машинно обучение и Spark. Следвам езиковия класификатор за поточно предаване в Twitter, който се намира тук:...

екип, Просто си играя с spark и mllib. Инсталирани scala и spark, версии, споменати по-долу. Scala - 2.11.7 Spark - 1.4.0 (Направи mvn пакет с -Dscala-2.11) Опитвам се да стартирам класификацията на Java, групирайки примери, дошли заедно с...

Работя върху churn предвиждане (дали клиент се премести в друга компания) в телеком индустрията, използвайки decision tree ( supervised learning ). Имам набор от данни със следната структура ( csv данни): number vmail messages,total call...

Внедрявам описания тук метод TF-IDF с Python/Pyspark, използвайки функция от mllib: https://spark.apache.org/docs/1.3.0/mllib-feature-extraction.html Имам комплект за обучение от 150 текстови документа, набор за тестване от 80 текстови...

Как да създадете SparseVector и плътни векторни представяния ако DenseVector е: denseV = np.array([0., 3., 0., 4.]) Какво ще бъде представянето на Sparse Vector?

Имам VectorWritable ( org.apache.mahout.math.VectorWritable ), който идва от файл с последователност, генериран от Mahout, и бих искал да го конвертирам във векторен ( org.apache.spark.mllib.linalg.Vectors ) тип е Spark. Как мога да направя това в...

Изглежда не мога да намеря начин да визуализирам моя RF модел, получен с помощта на MLLib RandomForestModel на Spark. Моделът, отпечатан като низ, е просто куп вложени IF изрази.. изглежда естествено да искам да визуализирам, както е възможно в R....

Сега използвам K-средства за клъстериране и следвам този урок и API . Но искам да използвам персонализирана формула за изчисляване на разстояния. И така, как мога да предам персонализирани функции за разстояние в k-средства с PySpark?