Я пытаюсь разработать приложение Spark на Eclipse, а затем отладить его, пройдя через него.
Я загрузил исходный код Spark и добавил в Eclipse несколько подпроектов Spark (например, Spark-core). Теперь я пытаюсь разработать искровое приложение с использованием Eclipse. Я уже установил ScalaIDE на Eclipse. Я создал простое приложение на основе примера, приведенного на сайте Spark.
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
В свой проект я добавил проект spark-core как зависимый проект (щелкните правой кнопкой мыши -> путь сборки -> добавить проект). Теперь я пытаюсь создать свое приложение и запустить его. Однако мой проект показывает, что в нем есть ошибки, но я не вижу никаких ошибок, перечисленных в представлении проблем в Eclipse, и я не вижу никаких строк, выделенных красным. Итак, я не уверен, в чем проблема. Я предполагаю, что мне нужно добавить в свой проект внешние банки, но я не уверен, что это за банки. Ошибка вызвана val conf = new SparkConf().setAppName("Simple Application") и последующими строками. Я попытался удалить эти строки, и ошибка исчезла. Буду признателен за любую помощь и руководство, спасибо!
