hbase ganglia 监控
hbase 配置
- hadoop-metrics2-hbase.properties
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
hbase.sink.ganglia.period=10
hbase.sink.ganglia.servers=239.2.11.71:8649
hbase.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
hbase.period=10
hbase.servers==239.2.11.71:8649
jvm.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
jvm.period=10
jvm.servers==239.2.11.71:8649
rpc.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
rpc.period=10
rpc.servers==239.2.11.71:8649
修改完配置后重启集群,就可以在ganglia中查看到相应监控信息了
注意 :
上面配置项中的IP地址为gmond.conf文件中mcast_join指定的IP地址:
/* Feel free to specify as many udp_send_channels as you like. Gmond
used to only support having a single channel */
udp_send_channel {
#bind_hostname = yes # Highly recommended, soon to be default.
# This option tells gmond to use a source address
# that resolves to the machine's hostname. Without
# this, the metrics may appear to come from any
# interface and the DNS names associated with
# those IPs will be used to create the RRDs.
mcast_join = 239.2.11.71
port = 8649
ttl = 1
}
效果图 ###
hbase监控项
hbase.regionserver.blockCacheCount :内存中缓存块(block cache)数。缓存中StoreFiles(HFiles)的块(block)数量。
hbase.regionserver.blockCacheEvictedCount :因超出堆大小限制,从缓存中释放的块数量。
hbase.regionserver.blockCacheFree: 可用的缓存块容量。
hbase.regionserver.blockCacheHitCachingRatio:缓存块的缓存命中率(0-100)。读取的缓存命中率被配置为查看缓存(如cacheblocks=true)。
hbase.regionserver.blockCacheHitCount :StoreFiles(HFiles) 从缓存中读取的块数量。
hbase.regionserver.blockCacheHitRatio:缓存块的命中率(0-100).包括所有读请求,尽管cacheBlocks=false 的读出会被计为cache丢失。
hbase.regionserver.blockCacheMissCount:被StoreFiles (HFiles)请求但是未从缓存中读出的块数量。
hbase.regionserver.blockCacheSize:内存中块缓存的容量,特指被blockcache占用的内存容量。
hbase.regionserver.compactionQueueSize :Compaction 队列大小,用于compaction的RegionServer中的Store个数。
hbase.regionserver.flushQueueSize :MemStore中等待flush操作的排队region数量。
hbase.regionserver.fsReadLatency_avg_time :文件系统延迟(ms)。从HDFS读操作的平均时间。
hbase.regionserver.memstoreSizeMB :当前RegionServer中所有Memstore的总容量(MB)。
hbase.regionserver.requests :总的读和写请求次数。请求相当于RegionServer的RPC调用,因此一个Get相当于一次请求,但是哪怕Scan的caching值设置为1000,对SCAN每个“下一次”调用仅相当于一次请求,(例如,非每行)。对于大数据块的请求,每个 HFile对应一次请求。
hbase.regionserver.storefileIndexSizeMB:RegionServer中 StoreFile文件索引大小的总和(MB)。
详细监控项可查看http://hbase.apache.org/book.html#rs_metrics
原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/9566.html