Скажем, у меня есть искровая работа, которая выглядит следующим образом:
def loadTable1() {
val table1 = sqlContext.jsonFile(s"s3://textfiledirectory/")
table1.cache().registerTempTable("table1")
}
def loadTable2() {
val table2 = sqlContext.jsonFile(s"s3://testfiledirectory2/")
table2.cache().registerTempTable("table2")
}
def loadAllTables() {
loadTable1()
loadTable2()
}
loadAllTables()
Как распараллелить это задание Spark, чтобы обе таблицы создавались одновременно?
Вам не нужно распараллеливать это. Операции создания RDD/DF ничего не делают. Эти структуры данных являются ленивыми, поэтому любые фактические вычисления будут происходить только тогда, когда вы начнете их использовать. И когда вычисление Spark произойдет, оно будет автоматически распараллелено (раздел за разделом). Spark распределит работу между исполнителями. Таким образом, вы, как правило, ничего не выиграете, вводя дополнительный параллелизм.
Используйте фьючерсы!
implicit val ec = ExecutionContext.fromExecutor(Executors.newFixedThreadPool(10))
def loadAllTables() {
Future { loadTable1() }
Future { loadTable2() }
}
Вы можете сделать это с помощью стандартного механизма потоковой передачи scala. Лично я хотел бы составить список пар с именем пути и таблицы, а затем выполнить параллельную карту. Вы также можете посмотреть фьючерсы или стандартные потоки.
user@spark. Если кто-то хочет прочитать обсуждение, тема — Распараллеливание создания нескольких RDD/DataFrame в Spark. - person Daniel Darabos schedule 09.07.2015