使用Java和Kerberos Keytab从Windows访问Cloudera上的HDFS
我正在尝试连接到在Cloudera上运行的HDFS实例。 我的第一步是启用Kerberos并创建Keytabs（如此处所示）。
在下一步中，我想使用keytab进行身份validation。
Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://cloudera:8020"); conf.set("hadoop.security.authentication", "kerberos"); UserGroupInformation.setConfiguration(conf); UserGroupInformation.loginUserFromKeytab("hdfs@CLOUDERA", "/etc/hadoop/conf/hdfs.keytab"); FileSystem fs = FileSystem.get(conf); FileStatus[] fsStatus = fs.listStatus(new Path("/")); for (int i = 0; i < fsStatus.length; i++) { System.out.println(fsStatus[i].getPath().toString()); } 它失败并出现以下错误
java.io.IOException：来自keytab /etc/hadoop/conf/hdfs.keytab的hdfs @ CLOUDERA登录失败：javax.security.auth.login.LoginException：无法从用户获取密码
问题是：如何正确处理密钥表？ 我必须将其复制到我的本地机器吗？
在Windows上运行Hadoop客户端以访问kerberized集群时，您需要一个特定的“本机库” （即DLL）。
据我所知，没有充分的理由，因为lib实际上并没有在一些自动回归测试之外使用（！？！），因此Hadoop提交者对Hadoop用户造成了痛苦。
为了增加额外的痛苦，没有正式构建的DLL（以及允许从Java使用的Windows“存根”）。 您必须（a）自己从源代码构建它 – 祝你好运 – 或者（b）在互联网上搜索可下载的Hadoop-for-Windows运行时，并祈祷它不包含任何恶意软件。
最好的选择（对于64位Windows）在这里： https ： //github.com/steveloughran/winutils
…而自述文件解释了为什么你可以合理地相信运行时。 但是，如果您遇到旧的32位Windows，那么您就可以自己动手了。
现在让我们假设您在Windows框下部署了该运行时
C:\Some Dir\hadoop\bin\
（最后一个bin是必需的;嵌入式空间只是额外的乐趣）
您必须使用几个Java属性将Hadoop客户端指向该运行时：
"-Dhadoop.home.dir=C:/Some Dir/hadoop" "-Djava.library.path=C:/Some Dir/hadoop/bin"
（注意Windows args周围的双引号，以保护路径中的嵌入空间，这些空间已被翻译为Java风格以获得额外的乐趣）
（在Eclipse中，只需将这些道具填入“VM Arguments”，包括引号）
现在，有Kerberos配置。 如果您的KDC是您的公司Active Directory服务器，那么Java应该自动找到配置参数。 但是，如果您的KDC是在Linux上安装的独立“MIT Kerberos”，那么您必须在群集上找到有效的/etc/krb5.conf文件，将其复制到Windows框中，并让Java将其与其他属性一起使用。 ..
"-Djava.security.krb5.conf=C:/Some Other Dir/krb5.conf"
然后我们假设您已经在Linux机器上创建了keytab文件，使用ktutil （或者使用某些AD命令为您创建的Active Directory管理员）并将文件放在
C:\Some Other Dir\foo.keytab
在其他任何事情之前，如果密钥表是用于真正的Windows帐户 – 即您自己的帐户 – 或Prod服务帐户，那么请确保密钥表是安全的!! 使用Windows安全性对话框仅限制对您的帐户的访问（对于备份，可能只限制系统） 。 因为该文件可以使任何计算机上的任何人在群集（以及任何支持Kerberos的系统，包括Windows）上进行身份validation。
现在您可以尝试使用身份validation
UserGroupInformation.loginUserFromKeytab("foo@BAR.ORG", "C:/Some Other Dir/foo.keytab");
如果它不起作用，请使用环境变量启用Kerberos调试跟踪
set HADOOP_JAAS_DEBUG=true
…和Java属性
-Dsun.security.krb5.debug=true
（在Eclipse中，分别在“环境”和“VM参数”中设置它们）
你有设置适当的权限吗？
chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab chmod 440 /etc/hadoop/conf/hdfs.keytab