hbase ganglia监控配置详解大数据

hbase ganglia 监控

hbase 配置

  1. hadoop-metrics2-hbase.properties
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31   
*.sink.ganglia.period=10   
 
hbase.sink.ganglia.period=10   
hbase.sink.ganglia.servers=239.2.11.71:8649 
 
 
hbase.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 
hbase.period=10 
hbase.servers==239.2.11.71:8649 
 
jvm.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 
jvm.period=10 
jvm.servers==239.2.11.71:8649 
 
rpc.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 
rpc.period=10 
rpc.servers==239.2.11.71:8649 

修改完配置后重启集群,就可以在ganglia中查看到相应监控信息了
注意 :
上面配置项中的IP地址为gmond.conf文件中mcast_join指定的IP地址:

/* Feel free to specify as many udp_send_channels as you like.  Gmond 
   used to only support having a single channel */ 
udp_send_channel { 
  #bind_hostname = yes # Highly recommended, soon to be default. 
                       # This option tells gmond to use a source address 
                       # that resolves to the machine's hostname.  Without 
                       # this, the metrics may appear to come from any 
                       # interface and the DNS names associated with 
                       # those IPs will be used to create the RRDs. 
  mcast_join = 239.2.11.71 
  port = 8649 
  ttl = 1 
}

效果图 ###

hbase ganglia监控配置详解大数据

hbase监控项

hbase.regionserver.blockCacheCount :内存中缓存块(block cache)数。缓存中StoreFiles(HFiles)的块(block)数量。

hbase.regionserver.blockCacheEvictedCount :因超出堆大小限制,从缓存中释放的块数量。

hbase.regionserver.blockCacheFree: 可用的缓存块容量。

hbase.regionserver.blockCacheHitCachingRatio:缓存块的缓存命中率(0-100)。读取的缓存命中率被配置为查看缓存(如cacheblocks=true)。

hbase.regionserver.blockCacheHitCount :StoreFiles(HFiles) 从缓存中读取的块数量。

hbase.regionserver.blockCacheHitRatio:缓存块的命中率(0-100).包括所有读请求,尽管cacheBlocks=false 的读出会被计为cache丢失。

hbase.regionserver.blockCacheMissCount:被StoreFiles (HFiles)请求但是未从缓存中读出的块数量。

hbase.regionserver.blockCacheSize:内存中块缓存的容量,特指被blockcache占用的内存容量。

hbase.regionserver.compactionQueueSize :Compaction 队列大小,用于compaction的RegionServer中的Store个数。

hbase.regionserver.flushQueueSize :MemStore中等待flush操作的排队region数量。

hbase.regionserver.fsReadLatency_avg_time :文件系统延迟(ms)。从HDFS读操作的平均时间。

hbase.regionserver.memstoreSizeMB :当前RegionServer中所有Memstore的总容量(MB)。

hbase.regionserver.requests :总的读和写请求次数。请求相当于RegionServer的RPC调用,因此一个Get相当于一次请求,但是哪怕Scan的caching值设置为1000,对SCAN每个“下一次”调用仅相当于一次请求,(例如,非每行)。对于大数据块的请求,每个 HFile对应一次请求。

hbase.regionserver.storefileIndexSizeMB:RegionServer中 StoreFile文件索引大小的总和(MB)。

详细监控项可查看http://hbase.apache.org/book.html#rs_metrics

原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/9566.html

(0)
上一篇 2021年7月19日 11:20
下一篇 2021年7月19日 11:20

相关推荐

发表回复

登录后才能评论