无法使用本地hadoop连接azure blob存储
在尝试使用Hadoop版本2.7.1将本地hadoop与AZURE BLOB存储(即使用blob存储作为HDFS )连接时,它会抛出exception
在这里,我通过设置属性成功地形成了本地群集
fs.default.name wasb://account@storage.blob.core.windows.net
然后是core-site.xml中blob存储的关键值。
列出文件或对blob存储进行HDFS操作时 ,将以下exception作为
ls: No FileSystem for scheme: wasb
有人请指导我解决上述问题。
- 您需要在hadoop类路径中添加hadoop-azure.jar 。
- 下载azure-storage-java项目并使用maven构建它然后你将获得azure-storage-3.0.0.jar。 在hadoop类路径中添加构建的jar。
现在你可以做所有的操作了。 有关更多信息,请参阅Azure Blob存储文档。