Spark: comment exécuter le fichier spark à partir de la shell

J’utilise le CDH 5.2. Je suis capable d’utiliser spark-shell pour exécuter les commandes. Comment puis-je exécuter le fichier (file.spark) contenant les commandes spark. Deuxièmement, existe-t-il un moyen d’exécuter / comstackr les programmes de scala dans CDH 5.2 sans sbt?

Merci d’avance,

Pour charger un fichier externe depuis spark-shell, faites simplement

:load PATH_TO_FILE 

Cela appellera tout dans votre fichier.

Je n’ai pas de solution pour votre question SBT mais désolé 🙂

En ligne de commande, vous pouvez utiliser

 spark-shell -i file.scala 

exécuter le code qui est écrit dans file.scala

Vous pouvez utiliser sbt ou maven pour comstackr les programmes spark. Ajoutez simplement l’étincelle en tant que dépendance à maven

  Spark repository http://www.sparkjava.com/nexus/content/repositories/spark/  

Et puis la dépendance:

  spark spark 1.2.0  

En termes d’exécution d’un fichier avec des commandes spark: vous pouvez simplement faire ceci:

 echo" import org.apache.spark.sql.* ssc = new SQLContext(sc) ssc.sql("select * from mytable").collect " > spark.input 

Exécutez maintenant le script de commandes:

 cat spark.input | spark-shell 

Juste pour donner plus de perspective aux réponses

Spark-shell est un scala repel

Vous pouvez taper : help pour voir la liste des opérations possibles à l’intérieur du shell Scala

 scala> :help All commands can be abbreviated, eg, :he instead of :help. :edit | edit history :help [command] print this summary or command-specific help :history [num] show the history (optional num is commands to show) :h?  search the history :imports [name name ...] show import history, identifying sources of names :implicits [-v] show the implicits in scope :javap  disassemble a file or class name :line | place line(s) at the end of history :load  interpret lines in a file :paste [-raw] [path] enter paste mode or paste a file :power enable power user mode :quit exit the interpreter :replay [options] reset the repl and replay all previous commands :require  add a jar to the classpath :reset [options] reset the repl to its initial state, forgetting all session ensortinges :save  save replayable session to a file :sh  run a shell command (result is implicitly => List[Ssortingng]) :settings  update comstackr options, if possible; see reset :silent disable/enable automatic printing of results :type [-v]  display the type of an expression without evaluating it :kind [-v]  display the kind of expression's type :warnings show the suppressed warnings from the most recent line which had any 

: charger interpréter les lignes dans un fichier