Articles of hadoop

Comment accéder aux fichiers s3a: // d’Apache Spark?

Hadoop 2.6 ne supporte pas s3a prêt à l’emploi, j’ai donc essayé une série de solutions et de correctifs, notamment: déployer avec hadoop-aws et aws-java-sdk => ne peut pas lire la variable d’environnement pour les informations d’identification append hadoop-aws dans maven => divers conflits de dépendance transitifs Quelqu’un a-t-il réussi à faire fonctionner les deux?

Hbase compte rapidement le nombre de lignes

En ce moment, ResultScanner nombre de lignes sur ResultScanner comme ceci for (Result rs = scanner.next(); rs != null; rs = scanner.next()) { number++; } Si les données atteignant des millions de fois, le calcul est important. Je veux calculer en temps réel le fait que je ne veuille pas utiliser Mapreduce Comment compter rapidement […]

Comment exécuter un programme spark java

J’ai écrit un programme Java pour spark. Mais comment l’exécuter et le comstackr depuis la ligne de commande Unix. Dois-je inclure un pot lors de la compilation pour l’exécution

Comment choisir entre Cassandra, Membase, Hadoop, MongoDB, RDBMS etc.?

Existe-t-il un article sur papier / blog sur l’utilisation de Cassandra ou Membase ou Hadoop ou de vieilles bases de données relationnelles? Existe-t-il un article sur les forces et les faiblesses de chacun et sur quels scénarios l’une ou l’autre de ces technologies devrait être choisie? Je pense à écrire un nouveau webservice qui aura […]

Hadoop java.io.IOException: Mkdirs n’a pas réussi à créer / some / path

Lorsque j’essaie d’exécuter mon travail, j’obtiens l’exception suivante: Exception in thread “main” java.io.IOException: Mkdirs failed to create /some/path at org.apache.hadoop.util.RunJar.ensureDirectory(RunJar.java:106) at org.apache.hadoop.util.RunJar.main(RunJar.java:150) Où / some / path est hadoop.tmp.dir. Cependant, lorsque je lance la commande dfs -ls cmd sur / some / path, je peux voir qu’elle existe et que le fichier de jeu de […]

Comment supprimer un sujet dans apache kafka

Je dois supprimer un sujet dans kafka-0.8.2.2.3. J’ai utilisé la commande ci-dessous pour supprimer le sujet: bin/kafka-topics.sh –zookeeper localhost:2181 –delete –topic DummyTopic La commande a été exécutée avec succès, mais lorsque je lance une commande pour répertorier les sujets, j’ai pu constater que le sujet était toujours présent et qu’il était marqué pour suppression . […]

Comment écrire des travaux de type ‘map only’ hadoop?

Je suis novice sur le hadoop, je me familiarise avec le style de la programmation avec réduction de la carte, mais je suis confronté à un problème: parfois, je n’ai besoin que de mapper un travail et le résultat de la carte phase n’est pas nécessaire ici, comment puis-je y parvenir?

Comment charger des données à partir de HDFS sans supprimer le fichier source?

Lorsque vous chargez des données de HDFS vers Hive, en utilisant LOAD DATA INPATH ‘hdfs_file’ INTO TABLE tablename; commande, on dirait qu’il déplace le fichier hdfs_file vers répertoire hive/warehouse . Est-il possible (comment?) De le copier au lieu de le déplacer, pour que le fichier puisse être utilisé par un autre processus.

Pourquoi HBase est-il un meilleur choix que Cassandra avec Hadoop?

Pourquoi utiliser HBase un meilleur choix que d’utiliser Cassandra avec Hadoop ? Quelqu’un peut-il s’il vous plaît donner une explication détaillée à ce sujet? Merci

Les exemples en cascade n’ont pas pu être compilés?

En shell j’ai tapé gradle cleanJar dans le répertoire Impatient / part1. La sortie est ci-dessous. L’erreur est ” fichier de classe pour org.apache.hadoop.mapred.JobConf introuvable “. Pourquoi at-il échoué à comstackr? :clean UP-TO-DATE :comstackJava Download http://conjars.org/repo/cascading/cascading-core/2.0.1/cascading-core-2.0.1.pom Download http://conjars.org/repo/cascading/cascading-hadoop/2.0.1/cascading-hadoop-2.0.1.pom Download http://conjars.org/repo/riffle/riffle/0.1-dev/riffle-0.1-dev.pom Download http://repo1.maven.org/maven2/org/slf4j/slf4j-api/1.6.1/slf4j-api-1.6.1.pom Download http://repo1.maven.org/maven2/org/slf4j/slf4j-parent/1.6.1/slf4j-parent-1.6.1.pom Download http://repo1.maven.org/maven2/org/slf4j/slf4j-log4j12/1.6.1/slf4j-log4j12-1.6.1.pom Download http://conjars.org/repo/thirdparty/jgrapht-jdk1.6/0.8.1/jgrapht-jdk1.6-0.8.1.pom Download http://repo1.maven.org/maven2/org/codehaus/janino/janino/2.5.16/janino-2.5.16.pom Download http://conjars.org/repo/cascading/cascading-core/2.0.1/cascading-core-2.0.1.jar Download http://conjars.org/repo/cascading/cascading-hadoop/2.0.1/cascading-hadoop-2.0.1.jar Download […]