如何将Hadoop Path对象转换为Java File对象

有没有办法将有效的和现有的Hadoop Path对象更改为有用的Java File对象。 有没有一种很好的方法可以做到这一点,还是我需要大胆地编写提交代码? 更明显的方法不起作用,似乎它是一个常见的代码

void func(Path p) { if (p.isAbsolute()) { File f = new File(p.toURI()); } } 

这不起作用,因为Path :: toURI()返回“hdfs”标识符,Java的File(URI uri)构造函数只识别“文件”标识符。

有没有办法让Path和File一起工作?

**

好的,一个特定的有限例子怎么样。

 Path[] paths = DistributedCache.getLocalCacheFiles(job); 

DistributedCache应该提供文件的本地化副本,但它返回一个Path。 我假设DistributedCache制作文件的本地副本,它们位于同一磁盘上。 鉴于这个有限的例子,hdfs希望不在等式中,有没有办法让我可靠地将Path转换为文件?

**

不是我知道的。

据我了解,Hadoop中的Path表示其分布式文件系统中节点的标识符。 这是java.io.File的不同抽象,它表示本地文件系统上的节点。 Path甚至不可能具有等效行为的File表示,因为基础模型根本不同。

因此缺乏翻译。 我假设您的断言File对象“[更多]有用”,您想要这个类的对象以便使用现有的库方法吗? 由于上述原因,这不会很好。 如果它是您自己的库,您可以将其重写为使用Hadoop Paths干净地工作,然后将任何文件转换为Path对象(此方向适用于Paths是Files的严格超集)。 如果它是第三方图书馆,那么你运气不好; 该方法的作者没有考虑分布式文件系统的影响,只编写该方法来处理普通的旧本地文件。

我最近有同样的问题,并且确实有一种从路径获取文件的方法,但它需要临时下载文件。 显然,这不适用于许多任务,但如果时间和空间对您来说不是必不可少的,并且您只需要使用Hadoop中的文件工作,请执行以下操作:

 import java.io.File; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public final class PathToFileConverter { public static File makeFileFromPath(Path some_path, Configuration conf) throws IOException { FileSystem fs = FileSystem.get(some_path.toUri(), conf); File temp_data_file = File.createTempFile(some_path.getName(), ""); temp_data_file.deleteOnExit(); fs.copyToLocalFile(some_path, new Path(temp_data_file.getAbsolutePath())); return temp_data_file; } } 

如果你有一个LocalFileSystem

 final LocalFileSystem localFileSystem = FileSystem.getLocal(configuration); 

您可以将hadoop Path对象传递给localFileSystem.pathToFile

 final File localFile = localFileSystem.pathToFile();