Вопросы по теме 'spark-graphx'

Простые запросы пути к большим графикам
У меня есть вопрос о больших графических данных. Предположим, что у нас есть большой граф с почти 100 миллионами ребер и около 5 миллионов узлов, в этом случае какая лучшая известная вам платформа анализа графов может дать все простые пути длин ‹ = k...
429 просмотров

scala не является членом параметра типа
Я пытаюсь использовать Spark GraphX ​​и сталкиваюсь с тем, что я считаю проблемой в том, как я использую Scala. Я новичок в Scala и Spark. Я создаю график, вызывая собственную функцию: val initialGraph: Graph[VertexAttributes, Int] =...
825 просмотров
schedule 02.01.2024

График, построенный с использованием graphx, не транслируется должным образом
Я создал график с помощью graphx, и теперь мне нужно извлечь подграфы из исходного графика. users_graph — это RDD, в котором есть подграф, индексированный для пользователя. Проблема в том, что эти подграфы не вычисляются. Я получаю исключение...
190 просмотров
schedule 10.11.2022

Как измерить время выполнения приложения Spark GraphX?
Какой самый надежный способ найти общее время выполнения программы с помощью Graphx, лучше всего использовать сервер истории или в программе использовать переменную с System.currentTimeMillis() или что-то еще?
89 просмотров
schedule 12.11.2023

Graphx Scala: применение фильтра к вершине с наследованием свойств
У меня есть вершины с разными свойствами. Теперь я хочу отфильтровать те, у которых есть определенное значение свойства. Вот как выглядит мой код: // Different property classes for different vertex class VertexProperty() case class Property1(val...
889 просмотров
schedule 06.11.2022

График ошибок X Причина: java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
Я играл с классами использования, но постоянно получаю сообщение об ошибке выше, когда пытаюсь их реализовать. Это мой код: import org.apache.spark.graphx._ import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} class...
665 просмотров
schedule 02.04.2024

Апач Спарк; график Х; Как объединить два ребра RDD
Я пытаюсь объединить Edge RDD с RDD (Long, Long, String). Мой край RDD выглядит так: val myEdges=sc.makeRDD(Array(Edge(1L,2L,"friend"))) и то, что я хочу объединить, это tuple3, называемый edgeList, который выглядит следующим образом:...
233 просмотров
schedule 09.11.2023

GraphX ​​- Как получить все связанные вершины из vertexId (а не только первые соседние)?
Учитывая этот график: Пример графика Как я могу получить все подключенные вершины из vertexID? Например, из VertexId 5 он должен вернуть 5-3-7-8-10. CollectNeighbors возвращает только первые соседние. Я пытаюсь использовать...
886 просмотров
schedule 07.04.2024

Производительность DFS Spark GraphX ​​по сравнению с простой реализацией Java DFS
Рассматривая граф с 14 000 вершин и 14 000 ребер, мне интересно, почему GraphX ​​требует гораздо больше времени, чем реализация графа на Java, чтобы получить все пути от вершины к листу? Реализация Java: несколько секунд Реализация Graphx:...
478 просмотров
schedule 26.05.2024

Какую переменную выбрать для увеличения меток узлов в алгоритме обнаружения сообщества
Я работаю над алгоритмом обнаружения сообщества, который использует концепцию распространения меток на узлы. У меня проблема с выбором истинного типа для переменной Label_counter . у нас есть алгоритм с именем LPA(label propagation algorithm) ,...
70 просмотров
schedule 22.10.2022