IP Girl
  1. IP Girl
  3. PySpark groupByKey renvoyant pyspark.resultiterable.ResultIterable
Intereting Posts
TreeMap sortinger par valeur Modifier la couleur de sélection sur NSTableView basé sur une vue Comment supprimer un répertoire contenant des fichiers en lecture seule dans C #? Ressortingction d’access: Le type ‘Application’ n’est pas une API (ressortingction sur la bibliothèque requirejse rt.jar) Créer une méthode générique contraignant T à une énumération Pourquoi les mots de passe en texte brut sont-ils mauvais et comment convaincre mon patron que ses sites Internet précieux sont en danger? Quel est le caractère de loupe d’index UITableView? Existe-t-il un moyen facile de créer des ordinaux en C #? Comment vérifier le mot de passe d’un utilisateur dans Devise Supprimer un élément dans une tranche Impossible d’installer les packages à l’intérieur de l’image docker Ubuntu Utilisation simultanée de jetons de support et de l’authentification par cookie Comment puis-je détecter le système d’exploitation en Perl? Erreur: impossible de trouver la fonction… en R Ajouter des zéros à l’aide de R

PySpark groupByKey renvoyant pyspark.resultiterable.ResultIterable

J’essaie de comprendre pourquoi mon groupByKey renvoie les éléments suivants: 

[(0, ), (1, ), (2, ), (3, ), (4, ), (5, ), (6, ), (7, ), (8, ), (9, )]

J’ai des valeurs flatMapped qui ressemblent à ceci: 

 [(0, u'D'), (0, u'D'), (0, u'D'), (0, u'D'), (0, u'D'), (0, u'D'), (0, u'D'), (0, u'D'), (0, u'D'), (0, u'D')]

Je fais juste un simple: 

 groupRDD = columnRDD.groupByKey()

Ce que vous récupérez est un object qui vous permet de parcourir les résultats. Vous pouvez transformer les résultats de groupByKey en une liste en appelant list () sur les valeurs, par exemple 

 example = sc.parallelize([(0, u'D'), (0, u'D'), (1, u'E'), (2, u'F')]) example.groupByKey().collect() # Gives [(0,

vous pouvez aussi utiliser 

 example.groupByKey().mapValues(list)

Au lieu d’utiliser groupByKey (), je vous suggère d’utiliser cogroup (). Vous pouvez vous référer à l’exemple ci-dessous. 

 [(x, tuple(map(list, y))) for x, y in sorted(list(x.cogroup(y).collect()))]

Exemple: 

 >>> x = sc.parallelize([("foo", 1), ("bar", 4)]) >>> y = sc.parallelize([("foo", -1)]) >>> z = [(x, tuple(map(list, y))) for x, y in sorted(list(x.cogroup(y).collect()))] >>> print(z)

Vous devriez obtenir la sortie souhaitée …

Exemple: 

 r1 = sc.parallelize([('a',1),('b',2)]) r2 = sc.parallelize([('b',1),('d',2)]) r1.cogroup(r2).mapValues(lambdax:tuple(reduce(add,__builtin__.map(list,x))))

Résultat: 

 [('d', (2,)), ('b', (2, 1)), ('a', (1,))]