Ambari Metrics Collector crashed

來自專欄大數據 刻意學習 持續1000天

最近升級ambari版本時，自帶的Metrics Collector出現不能查詢的問題。

主要的版本為：ambari-2.6.1.0，但是問題出在hbase的查詢中，所以與ambari的版本應該是無關的，而是與HDP-2.6.4.0-centos7-rpm的版本有關。

報錯信息如下：

2018-06-12 13:14:20,864 WARN [RpcServer.FifoWFPBQ.default.handler=24,queue=0,port=37724] io.FSDataInputStreamWrapper: Failed to invoke unbuffer method in class class org.apache.hadoop.fs.FSDataInputStream . So there may be a TCP socket connection left open in CLOSE_WAIT state.java.lang.reflect.InvocationTargetException at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.hbase.io.FSDataInputStreamWrapper.unbuffer(FSDataInputStreamWrapper.java:263) at org.apache.hadoop.hbase.io.hfile.HFileBlock$FSReaderImpl.unbufferStream(HFileBlock.java:1788) at org.apache.hadoop.hbase.io.hfile.HFileReaderV2.unbufferStream(HFileReaderV2.java:1403) at org.apache.hadoop.hbase.io.hfile.AbstractHFileReader$Scanner.close(AbstractHFileReader.java:343) at org.apache.hadoop.hbase.regionserver.StoreFileScanner.close(StoreFileScanner.java:252) at org.apache.hadoop.hbase.regionserver.KeyValueHeap.close(KeyValueHeap.java:222) at org.apache.hadoop.hbase.regionserver.StoreScanner.close(StoreScanner.java:449) at org.apache.hadoop.hbase.regionserver.KeyValueHeap.close(KeyValueHeap.java:217) at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.close(HRegion.java:6198) at org.apache.phoenix.cache.aggcache.SpillableGroupByCache$2.close(SpillableGroupByCache.java:347) at org.apache.phoenix.coprocessor.BaseScannerRegionObserver$1.close(BaseScannerRegionObserver.java:244) at org.apache.hadoop.hbase.regionserver.RSRpcServices.closeScanner(RSRpcServices.java:2717) at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:2674) at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:32385) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2150) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:112) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:187) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:167)Caused by: java.lang.UnsupportedOperationException: this stream does not support unbuffering. at org.apache.hadoop.fs.FSDataInputStream.unbuffer(FSDataInputStream.java:233) ... 21 more

以上問題出現時，如果重新安裝一次，大概能正常運行1小時左右，然後就繼續報上面的日誌。

初步懷疑是打包的問題，因為查看這個版本的源代碼時，裡面特別備註了修復了這個問題。

那怎麼解決呢？

方法1：自己編譯一下hadoop-common包與hbase-server包，替換原來的。（本人未用這種方法）

方法2：因為是升級，之前的hdp-2.5.5.0的版本，這個組件是正常的，而對應的hdfs也是2.7.3的版本，hbase對應的版本是1.1.2的版本，與hdp-2.6.4.0的是一樣的。於是我直接替換對應的包。及將：/usr/lib/ams-hbase/lib下的包全部換成之前的包。重啟，解決問題。