通过Java API从远程主机进行HDFS访问，用户身份validation
我需要通过Java API从远程桌面使用HDFS集群。 一切正常，直到写访问。 如果我正在尝试创建任何文件，我会收到访问权限exception。 路径看起来不错，但exception表示我的远程桌面用户名，这当然不是我需要访问所需的HDFS目录。
问题是： – 有没有办法在Java API中使用“简单”身份validation来表示不同的用户名？ – 您能否在Java API示例中指出hadoop / HDFS中的身份validation/授权方案的一些很好的解释？
是的，我已经知道’whoami’在这种情况下可能会使用shell别名重载但我宁愿避免像这样的解决方案。 此处的具体细节是我不喜欢通过SSH和脚本使用管道等一些技巧。 我想使用Java API执行所有操作。 先谢谢你。
经过一番研究，我得出以下解决方案：
- 我实际上并不需要完整的Kerberos解决方案，目前客户端可以运行来自任何用户的HDFS请求。 环境本身被认为是安全的。
- 这给了我基于hadoop UserGroupInformation类的解决方案。 将来我可以扩展它以支持Kerberos。
示例代码可能对“虚假身份validation”和远程HDFS访问都很有用：
package org.myorg; import java.security.PrivilegedExceptionAction; import org.apache.hadoop.conf.*; import org.apache.hadoop.security.UserGroupInformation; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileStatus; public class HdfsTest { public static void main(String args[]) { try { UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hbase"); ugi.doAs(new PrivilegedExceptionAction() { public Void run() throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase"); conf.set("hadoop.job.ugi", "hbase"); FileSystem fs = FileSystem.get(conf); fs.createNewFile(new Path("/user/hbase/test")); FileStatus[] status = fs.listStatus(new Path("/user/hbase")); for(int i=0;i 对于有类似问题的人有用的参考：
- Cloudera博客文章“ Hadoop中的授权和身份validation ”。 简而言之，重点是对hadoop安全方法的简单解释。 没有特定于Java API解决方案的信息，但有助于基本了解问题。
更新：
替代那些使用命令行hdfs或hadoop实用程序而无需本地用户的人：
HADOOP_USER_NAME=hdfs hdfs fs -put /root/MyHadoop/file1.txt /
您实际执行的操作是根据本地权限读取本地文件，但在将文件放在HDFS上时，您将通过用户hdfs进行身份validation。
这与所示的API代码具有非常相似的属性：
- 你不需要
sudo。 - 您实际上不需要适当的本地用户'hdfs'。
- 由于之前的要点，您无需复制任何内容或更改权限。