hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系

hdfs启动顺序:

     1、namenode

      2、datenode

     3、secondnamenode        

     4、yarn

webui: 

          默认为50070端口,dfsheath

    ui内容讲解:

          ClusterID: namenode格式化时生成的(hdfs namenode -format)

          BlockpoolID:数据块池

           (为了federation 和内存管理使用。)

          

     namenode Journal status:

         就是edit日志

     namenode storage:     

          镜像文件存储信息

     

               

          

          

     

启动日志文件目录 $HADOOP_HOME/logs:

      x.log: 通过log4j记录,记录大部分应用程序的日志信息

      x.out  记录标准输出和标准错误日志,少量记录

日志文件的命名规则:

     [  框架名称- 用户名- 进程名- 主机名–日志格式后缀 ]

Secondary namenode:

        1、客户端对hdfs的操作会记录到edits文件中, 即journal 。

        2、namenode 内存中的内容为 fsp_w_picpath+edits

        3、 namenode 的fsp_w_picpath和edite文件定时合并后,同步到secondary namenode上。

     

原创文章,作者:kepupublish,如若转载,请注明出处:https://blog.ytso.com/tech/opensource/190613.html

(0)
上一篇 2021年11月14日 07:08
下一篇 2021年11月14日 07:08

相关推荐

发表回复

登录后才能评论