Hadoop一些问题总结详解大数据

1、运行mr程序出错
　　connecting to resoucemanager
　　retrying ….
　　retrying …..

　　原因是没有启动yarn或者启动失败

2、初始化工作目录结构
　　hdfs namenode -format 只是初始化了namenode的工作目录
　　而datanode的工作目录是在datanode启动后自己初始化的

3、datanode不被namenode识别的问题
　  namenode在format初始化的时候会形成两个标识：
　　blockPoolId：
　　clusterId：

　　新的datanode加入时，会获取这两个标识作为自己工作目录中的标识

　　一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然持有原来的id，就不会被namenode识别

4、datanode下线后多久看到效果
　　datanode不是一下线就会被namenode认定为下线的，有一个超时时间

5、关于副本数量的问题
　　副本数由客户端的参数dfs.replication决定（优先级： conf.set > 自定义配置文件 > jar包中的hdfs-default.xml）

6、可以通过-DHADOOP_USER_NAME=hadoop来处理报错 persmission报错问题user=windows的用户名这个时候需要更改登录hadoop的用户名

7、namenode安全模式问题

　　当namenode发现集群中的block丢失数量达到一个阀值时，namenode就进入安全模式状态，不再接受客户端的数据更新请求

　　在正常情况下，namenode也有可能进入安全模式：
　　　　集群启动时（namenode启动时）必定会进入安全模式，然后过一段时间会自动退出安全模式（原因是datanode汇报的过程有一段持续时间）
　　也确实有异常情况下导致的安全模式
　　　　原因：block确实有缺失
　　　　措施：可以手动让namenode退出安全模式，bin/hdfs dfsadmin -safemode leave
　　　　或者：调整safemode门限值： dfs.safemode.threshold.pct=0.999f