Comment afficher le contenu complet de la colonne dans un Spark Dataframe?

J’utilise spark-csv pour charger des données dans un DataFrame. Je veux faire une requête simple et afficher le contenu:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() 

Le col semble tronqué:

 scala> results.show(); +--------------------+ | col| +--------------------+ |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-06 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:21:...| |2015-11-16 07:21:...| |2015-11-16 07:21:...| +--------------------+ 

Comment afficher le contenu complet de la colonne?

    results.show(20, False) ne sera pas tronqué. Vérifier la source

    si vous ne mettez que results.show (False) ne tronquera pas le résultat

    Les autres solutions sont bonnes. Si ce sont vos objectives:

    1. Pas de troncature des colonnes,
    2. Pas de perte de lignes,
    3. Vite et
    4. Efficace

    Ces deux lignes sont utiles …

      df.persist df.show(df.count, false) // in Scala or 'False' in Python 

    En persistant, les deux actions de l’exécuteur, count et show, sont plus rapides et plus efficaces lorsqu’on utilise persist ou cache pour maintenir la structure intermédiaire des données sous-jacentes au sein des exécuteurs. Voir plus sur persist et cache .

    results.show(20, False) ou results.show(20, false) selon que vous l’exécutez sous Java / Scala / Python

    Le code ci-dessous aiderait à afficher toutes les lignes sans troncature dans chaque colonne

     df.show(df.count(), False) 

    essayez cette commande:

     df.show(df.count()) 

    results.show(false) affichera le contenu complet de la colonne.

    Afficher la méthode par défaut limite à 20, et append un nombre avant false affichera plus de lignes.

    results.show (20, false) a fait le tour pour moi en scala

    Essayez ceci: df.show (certains non) fonctionnera mais df.show (df.count ()) ne fonctionnera pas df.count donne le type de sortie long qui n’est pas accepté par df.show () car il accepte le type entier.