Ambari Metrics Collector crashed
來自專欄大數據 刻意學習 持續1000天
最近升級ambari版本時,自帶的Metrics Collector出現不能查詢的問題。
主要的版本為:ambari-2.6.1.0,但是問題出在hbase的查詢中,所以與ambari的版本應該是無關的,而是與HDP-2.6.4.0-centos7-rpm的版本有關。
報錯信息如下:
2018-06-12 13:14:20,864 WARN [RpcServer.FifoWFPBQ.default.handler=24,queue=0,port=37724] io.FSDataInputStreamWrapper: Failed to invoke unbuffer method in class class org.apache.hadoop.fs.FSDataInputStream . So there may be a TCP socket connection left open in CLOSE_WAIT state.java.lang.reflect.InvocationTargetException at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.hbase.io.FSDataInputStreamWrapper.unbuffer(FSDataInputStreamWrapper.java:263) at org.apache.hadoop.hbase.io.hfile.HFileBlock$FSReaderImpl.unbufferStream(HFileBlock.java:1788) at org.apache.hadoop.hbase.io.hfile.HFileReaderV2.unbufferStream(HFileReaderV2.java:1403) at org.apache.hadoop.hbase.io.hfile.AbstractHFileReader$Scanner.close(AbstractHFileReader.java:343) at org.apache.hadoop.hbase.regionserver.StoreFileScanner.close(StoreFileScanner.java:252) at org.apache.hadoop.hbase.regionserver.KeyValueHeap.close(KeyValueHeap.java:222) at org.apache.hadoop.hbase.regionserver.StoreScanner.close(StoreScanner.java:449) at org.apache.hadoop.hbase.regionserver.KeyValueHeap.close(KeyValueHeap.java:217) at org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.close(HRegion.java:6198) at org.apache.phoenix.cache.aggcache.SpillableGroupByCache$2.close(SpillableGroupByCache.java:347) at org.apache.phoenix.coprocessor.BaseScannerRegionObserver$1.close(BaseScannerRegionObserver.java:244) at org.apache.hadoop.hbase.regionserver.RSRpcServices.closeScanner(RSRpcServices.java:2717) at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:2674) at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:32385) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2150) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:112) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:187) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:167)Caused by: java.lang.UnsupportedOperationException: this stream does not support unbuffering. at org.apache.hadoop.fs.FSDataInputStream.unbuffer(FSDataInputStream.java:233) ... 21 more
以上問題出現時,如果重新安裝一次,大概能正常運行1小時左右,然後就繼續報上面的日誌。
初步懷疑是打包的問題,因為查看這個版本的源代碼時,裡面特別備註了修復了這個問題。
那怎麼解決呢?
方法1:自己編譯一下hadoop-common包與hbase-server包,替換原來的。(本人未用這種方法)
方法2:因為是升級,之前的hdp-2.5.5.0的版本,這個組件是正常的,而對應的hdfs也是2.7.3的版本,hbase對應的版本是1.1.2的版本,與hdp-2.6.4.0的是一樣的。於是我直接替換對應的包。及將:/usr/lib/ams-hbase/lib下的包全部換成之前的包。重啟,解決問題。
推薦閱讀:
※又到求職黃金季,這些技能助你一臂之力【阿里直聘優先錄取】
※大數據在能源管理中的應用:預測模型
※今日數據行業日報(2016.12.13)
※大數據時代來臨,會將水務未來帶向何處?
※不當背鍋俠!蘋果回應大數據殺熟:開發者擁有100%定價權
TAG:大數據 |