Вопросы по теме 'spark-graphx'
Простые запросы пути к большим графикам
У меня есть вопрос о больших графических данных. Предположим, что у нас есть большой граф с почти 100 миллионами ребер и около 5 миллионов узлов, в этом случае какая лучшая известная вам платформа анализа графов может дать все простые пути длин ‹ = k...
429 просмотров
schedule
12.12.2022
scala не является членом параметра типа
Я пытаюсь использовать Spark GraphX и сталкиваюсь с тем, что я считаю проблемой в том, как я использую Scala. Я новичок в Scala и Spark.
Я создаю график, вызывая собственную функцию:
val initialGraph: Graph[VertexAttributes, Int] =...
825 просмотров
schedule
02.01.2024
График, построенный с использованием graphx, не транслируется должным образом
Я создал график с помощью graphx, и теперь мне нужно извлечь подграфы из исходного графика. users_graph — это RDD, в котором есть подграф, индексированный для пользователя. Проблема в том, что эти подграфы не вычисляются. Я получаю исключение...
190 просмотров
schedule
10.11.2022
Как измерить время выполнения приложения Spark GraphX?
Какой самый надежный способ найти общее время выполнения программы с помощью Graphx, лучше всего использовать сервер истории или в программе использовать переменную с System.currentTimeMillis() или что-то еще?
89 просмотров
schedule
12.11.2023
Graphx Scala: применение фильтра к вершине с наследованием свойств
У меня есть вершины с разными свойствами. Теперь я хочу отфильтровать те, у которых есть определенное значение свойства. Вот как выглядит мой код:
// Different property classes for different vertex
class VertexProperty()
case class Property1(val...
889 просмотров
schedule
06.11.2022
График ошибок X Причина: java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
Я играл с классами использования, но постоянно получаю сообщение об ошибке выше, когда пытаюсь их реализовать. Это мой код:
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
class...
665 просмотров
schedule
02.04.2024
Апач Спарк; график Х; Как объединить два ребра RDD
Я пытаюсь объединить Edge RDD с RDD (Long, Long, String). Мой край RDD выглядит так:
val myEdges=sc.makeRDD(Array(Edge(1L,2L,"friend")))
и то, что я хочу объединить, это tuple3, называемый edgeList, который выглядит следующим образом:...
233 просмотров
schedule
09.11.2023
GraphX - Как получить все связанные вершины из vertexId (а не только первые соседние)?
Учитывая этот график:
Пример графика
Как я могу получить все подключенные вершины из vertexID?
Например, из VertexId 5 он должен вернуть 5-3-7-8-10.
CollectNeighbors возвращает только первые соседние.
Я пытаюсь использовать...
886 просмотров
schedule
07.04.2024
Производительность DFS Spark GraphX по сравнению с простой реализацией Java DFS
Рассматривая граф с 14 000 вершин и 14 000 ребер, мне интересно, почему GraphX требует гораздо больше времени, чем реализация графа на Java, чтобы получить все пути от вершины к листу?
Реализация Java: несколько секунд
Реализация Graphx:...
478 просмотров
schedule
26.05.2024
Какую переменную выбрать для увеличения меток узлов в алгоритме обнаружения сообщества
Я работаю над алгоритмом обнаружения сообщества, который использует концепцию распространения меток на узлы. У меня проблема с выбором истинного типа для переменной Label_counter .
у нас есть алгоритм с именем LPA(label propagation algorithm) ,...
70 просмотров
schedule
22.10.2022