IP Girl
  1. IP Girl
  3. Est-il possible de prendre les 1000 premières lignes d’un Spark Dataframe?
Intereting Posts
Quelle est la différence entre les codes d’état HTTP 301 et 308? La différence entre les interfaces Runnable et Callable en Java Est-il possible d’utiliser WebRTC pour diffuser des vidéos du serveur vers le client? Compter le nombre d’éléments dans ma liste de tableaux L’événement OnClick ne fonctionne que la deuxième fois sur edittext Pourquoi l’algorithme de Dijkstra ne fonctionne-t-il pas pour les arêtes de poids négatives? Pourquoi Intellij affiche-t-il une croix (x) sur l’icône de classe pour l’une de mes classes Java? Comment ouvrir un terminal sur WebStorm? JavaScript / regex: supprimer le texte entre parenthèses URL de Google Street View Pourquoi ai-je une exception UnsupportedOperationException lorsque je tente de supprimer un élément d’une liste? Convertir le flottant en double sans perdre en précision Comment vérifier si le fichier existe sur FTP avant FtpWebRequest Comment obtenir une taille d’écran en code? Impossible de annuler le déploiement complet d’une application Web dans Tomcat 7

Est-il possible de prendre les 1000 premières lignes d’un Spark Dataframe?

J’utilise la fonction randomSplit pour obtenir une petite quantité de dataframe à utiliser à des fins de développement et je finis par prendre le premier df renvoyé par cette fonction. 

 val df_subset = data.randomSplit(Array(0.00000001, 0.01), seed = 12345)(0)

Si j’utilise df.take(1000) je me retrouve avec un tableau de lignes, pas un dataframe, donc cela ne fonctionnera pas pour moi.

Existe-t-il un moyen plus simple de prendre les 1000 premières lignes du fichier DF et de les stocker sous une autre forme?

La méthode que vous recherchez est .limit .

Retourne un nouveau DataFrame en prenant les n premières lignes. La différence entre cette fonction et la tête est que la tête retourne un tableau alors que la limite retourne un nouveau DataFrame.