Tag: distributed cache

java.lang.IllegalArgumentException：错误的FS：，期望：hdfs：// localhost：9000

我正在尝试实现reduce side join，并使用mapfile reader查找分布式缓存但是在stderr中检查时它没有查找值，它显示以下错误，lookupfile文件已经存在于hdfs中，并且似乎正确加载进入缓存，如stdout中所示。 java.lang.IllegalArgumentException：Wrong FS：file：/ app / hadoop / tmp / mapred / local / taskTracker / distcache / -8118663285704962921_-1196516983_170706299 / localhost / input / delivery_status / DeliveryStatusCodes / data，expected：hdfs：// localhost：9000 org.apache.hadoop.fs.FileSystem.checkPath（FileSystem.java:390）org.apache.hadoop.hdfs.DistributedFileSystem.getPathName（DistributedFileSystem.java:140）org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus （DistributedFileSystem.java:554）org.apache.hadoop.fs.FileSystem.getLength（FileSystem.java:816）org.apache.hadoop.io.SequenceFile $ Reader。（SequenceFile.java:1479）org.apache .hadoop.io.SequenceFile $ Reader。（SequenceFile.java:1474）org.apache.hadoop.io.MapFile $ Reader.createDataFileReader（MapFile.java:302）at org.apache.hadoop.io.MapFile $ Reader。打开（MapFile.java:284）org.apache.hadoop.io.MapFile $ Reader。（MapFile.java:273）org.apache.hadoop.io.MapFile $ Reader。（MapFile.java:260）at org .apache.hadoop.io.MapFile $读卡器（MapFile.java： 253）在mr_poc.reducerrsj.initializeDepartmentsMap（reducerrsj.java:59）mr_poc.reducerrsj.setup（reducerrsj.java:42）atg.apache.hadoop.mapreduce.Reducer.run（Reducer.java:174）at org。位于org.apache.hadoop.mapred.Child $ 4.run的org.apache.hadoop.mapred.ReduceTask.run（ReduceTask.java:418）中的apache.hadoop.mapred.ReduceTask.runNewReducer（ReduceTask.java:649） […]