изпълнявайки „hdfs balancer“, виждам го да показва инсталираната топология на стелажа, свръхизползвани и недостатъчно използвани възли, пише „Трябва да преместите 5 TB, за да направите клъстера балансиран“ и „Реших да преместя 10 GB байта от 10.150.11.24: 50010 до 10.150.11.164:50010"
тогава виждам тази грешка,
WARN balancer.Balancer: Диспечерската нишка е неуспешна java.lang.NullPointerException в org.apache.hadoop.hdfs.server.balancer.Balancer.isGoodBlockCandidate(Balancer.java:1233) в org.apache.hadoop.hdfs.server.balancer.Balancer .access$400(Balancer.java:183) в org.apache.hadoop.hdfs.server.balancer.Balancer$Source.isGoodBlockCandidate(Balancer.java:686) в org.apache.hadoop.hdfs.server.balancer.Balancer$ Source.getBlockList(Balancer.java:674) в org.apache.hadoop.hdfs.server.balancer.Balancer$Source.dispatchBlocks(Balancer.java:776) в org.apache.hadoop.hdfs.server.balancer.Balancer$ Source.access$1600(Balancer.java:607) в org.apache.hadoop.hdfs.server.balancer.Balancer$Source$BlockMoveDispatcher.run(Balancer.java:614) в java.util.concurrent.Executors$RunnableAdapter.call (Executors.java:471) в java.util.concurrent.FutureTask.run(FutureTask.java:262) в java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) в java.util.concurrent.ThreadPoolExecutor$ Worker.run(ThreadPoolExecutor.java:615) в java.lang.Thread.run(Thread.java:744)
тогава това,
Нито един блок не е преместен за 5 повторения. Излизане...
ПРЕДУПРЕЖДЕНИЕ hdfs.DFSClient: Изключение на DataStreamer org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): Няма лизинг на /system/balancer.id: Файлът не съществува. Притежателят DFSClient_NONMAPREDUCE_-201468433_1 няма отворени файлове. в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:2937) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.analyzeFileState(FSNamesystem.java:2757) в org.apache .hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2665) в org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:569) в org.apache.hadoop.hdfs .protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:440) в org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodePro tocolProtos.java) в org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
и дневникът на namenode ще покаже това,
WARN org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hdfs (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: Няма лизинг на /system/balancer.id: Файлът не съществува . Притежателят DFSClient_NONMAPREDUCE_-201468433_1 няма отворени файлове.
ИНФОРМАЦИЯ org.apache.hadoop.ipc.Server: IPC Server манипулатор 118 на 8020, извикване на org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock от 10.150.11.126:56490 Call#71 Retry#0: грешка: org.apache .hadoop.hdfs.server.namenode.LeaseExpiredException: Няма лизинг на /system/balancer.id: Файлът не съществува. Притежателят DFSClient_NONMAPREDUCE_-201468433_1 няма отворени файлове.
Търсих и намерих някаква дискусия относно дублирани процеси на балансиране, но не можах да намеря този проблем в нашия клъстер. някой има ли други идеи? ние използваме cdh5.0.1
