Test Hadoop C ++ HDFS in esecuzione Eccezione

Sto lavorando con Hadoop 2.2.0 e sto provando ad eseguire questa applicazione hdfs_test.cpp :

#include "hdfs.h" int main(int argc, char **argv) { hdfsFS fs = hdfsConnect("default", 0); const char* writePath = "/tmp/testfile.txt"; hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0); if(!writeFile) { fprintf(stderr, "Failed to open %s for writing!\n", writePath); exit(-1); } char* buffer = "Hello, World!"; tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1); if (hdfsFlush(fs, writeFile)) { fprintf(stderr, "Failed to 'flush' %s\n", writePath); exit(-1); } hdfsCloseFile(fs, writeFile); } 

L’ho compilato ma quando lo eseguo con ./hdfs_test ho questo:

 loadFileSystems error: (unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.) hdfsBuilderConnect(forceNewInstance=0, nn=default, port=0, kerbTicketCachePath=(NULL), userName=(NULL)) error: (unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.) hdfsOpenFile(/tmp/testfile.txt): constructNewObjectOfPath error: (unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.) Failed to open /tmp/testfile.txt for writing! 

Forse è un problema con il classpath. Il mio $ HADOOP_HOME è / usr / local / hadoop e questa è la mia variabile effettiva * CLASSPATH * :

 echo $CLASSPATH /usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/contrib/capacity-scheduler/*.jar 

Qualsiasi aiuto è apprezzato .. grazie

    Prova questo:

     hadoop classpath --glob 

    Quindi aggiungi il risultato alla variabile CLASSPATH in ~/.bashrc

    Ho avuto problemi con l’utilizzo di caratteri jolly in classpath quando si utilizzano programmi basati su JNI. Prova l’approccio direct-jar-in-classpath , come quello generato in questo mio codice di esempio su https://github.com/QwertyManiac/cdh4-libhdfs-example/blob/master/exec.sh#L3 , e Credo che dovrebbe invece funzionare. L’intero esempio contenuto in https://github.com/QwertyManiac/cdh4-libhdfs-example funziona attualmente.

    Vedi anche https://stackoverflow.com/a/9322747/1660002