Cloudera hadoop: not able to run Hadoop fs command and at same time HBase is not able to create directory on HDFS?
我已经启动并运行了 6 个节点的 cloudera 5.0 beta 集群
但我无法使用命令查看 hadoop HDFS 的文件和文件夹
|
1
|
sudo -u hdfs hadoop fs -ls /
|
在输出中显示linux目录的文件和文件夹。
虽然namenode UI显示文件和文件夹。
在 HDFS 上创建文件夹时出现错误
|
1
2 |
sudo -u hdfs hadoop fs -mkdir /test
mkdir: `/test’: Input/output error |
由于这个错误，hbase 没有启动并关闭并出现以下错误：
|
1
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 |
Unhandled exception. Starting shutdown.
java.io.IOException: Exception in makeDirOnFileSystem at org.apache.hadoop.hbase.HBaseFileSystem.makeDirOnFileSystem(HBaseFileSystem.java:136) at org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:352) at org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:134) at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:119) at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:536) at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:396) at java.lang.Thread.run(Thread.java:662) Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=hbase, access=WRITE, inode=”/”:hdfs:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:224) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:204) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:149) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:4846) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:4828) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:4802) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:3130) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:3094) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3075) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:669) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:419) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44970) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1752) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1748) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1746) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at org.apache.hadoop.ipc.Client.call(Client.java:1238) |
提前致谢
要么更改 core-file.xml 的配置，要么将属性 fs.default.name 编辑为
|
1
2 3 4 |
<property>
<name>fs.default.name</name> <value>hdfs://target-namenode:54310</value> </property> |
或者像这样运行命令
云时代
|
1
|
sudo -u hdfs hadoop fs -ls hdfs://<hadoop-master-ip>:8020/
|
对于 Apache Hadoop
|
1
|
bin/hadoop fs -ls hdfs://<hadoop-master-ip>:9000/
|
同样你可以运行hadoop fs的任何命令
- 优秀的答案。在尝试调试东西时，指定 hdfs://<ip>:8020 的方法非常方便，尤其是在 Cloudera 的情况下！
- 我正在使用 Apache Hadoop 2.7.2，我的默认端口是 8020，似乎他们正在采用 Cloudera 方式。
看起来 hadoop fs 命令没有从您的 core-site.xml 中获取名称节点地址。在没有配置名称节点的情况下，Hadoop 客户端代码通常会默认使用本地文件系统。
如果您从集群上的一个不是 namenode 的节点运行命令，您可能必须告诉 CM 部署客户端配置。
如果您在集群外的机器上运行，则必须手动设置配置并确保可以在 Java 类路径中的某处找到 core-site.xml 文件。
- 所有的配置文件都由 cloudera 管理你认为编辑这些文件好吗？
- 如果您使用的是不受 Cloudera 管理器管理的机器，请仅自行编辑文件。否则，请使用我上面链接的部署命令。
- 谢谢它工作我现在能够解决错误 ls 命令工作正常
来源：https://www.codenong.com/21476603/
