HDFS For hdfs-site.xml详解大数据

一、重要部分

 1. dfs.name.dir 
    /usr/hadoop/hdfs/name 
    存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份 
 
 2. dfs.data.dir 
    /usr/hadoop/hdfs/data 
    数据节点的块本地存放目录 
 
 3. dfs.replication 
    3 
    缺省的块复制数量 
 
 4. dfs.webhdfs.enabled 
    true 
    使WebHDFS（REST API）在Namenodes和数据节点。 
 
 5. dfs.namenode.secondary.http-address 
    centos201:9001 
    二Namenode HTTP服务器地址和端口。 
 

二、其他部分

 1. dfs.namenode.logging.level  
info 
输出日志类型 
2. dfs.secondary.http.address  
0.0.0.0:50090 
备份名称节点的http协议访问地址与端口 
3. dfs.datanode.address 
0.0.0.0:50010 
数据节点的TCP管理服务地址和端口 
4. dfs.datanode.http.address 
0.0.0.0:50075 
数据节点的HTTP协议访问地址和端口 
5. dfs.datanode.ipc.address 
0.0.0.0:50020 
数据节点的IPC服务访问地址和端口 
6. dfs.datanode.handler.count 
3 
数据节点的服务连接处理线程数 
7. dfs.http.address 
0.0.0.0:50070 
名称节点的http协议访问地址与端口 
8. dfs.https.enable 
false  
支持https访问方式标识 
9. dfs.https.need.client.auth 
false 
客户端指定https访问标识 
10. dfs.https.server.keystore.resource 
ssl-server.xml 
Ssl密钥服务端的配置文件 
11. dfs.https.client.keystore.resource 
ssl-client.xml 
Ssl密钥客户端的配置文件 
12. dfs.datanode.https.address  
0.0.0.0:50475 
数据节点的HTTPS协议访问地址和端口 
13. dfs.https.address 
0.0.0.0:50470 
名称节点的HTTPS协议访问地址和端口 
14. dfs.datanode.dns.interface     
default       
数据节点采用IP地址标识 
15. dfs.datanode.dns.nameserver 
default       
指定DNS的IP地址 
16. dfs.replication.considerLoad 
true 
加载目标或不加载的标识 
17. dfs.default.chunk.view.size 
32768 
浏览时的文件块大小设置为32K 
18. dfs.datanode.du.reserved 
0 
每个卷预留的空闲空间数量 
19. dfs.name.edits.dir  
${dfs.name.dir} 
存贮文件操作过程信息的存贮目录 
20. dfs.web.ugi  
webuser,webgroup   
Web接口访问的用户名和组的帐户设定 
21. dfs.permissions 
true 
文件操作时的权限检查标识 
22. dfs.permissions.supergroup 
supergroup 
超级用户的组名定义 
23. dfs.block.access.token.enable 
false 
数据节点访问令牌标识 
24. dfs.block.access.key.update.interval 
600 
升级访问钥时的间隔时间 
25. dfs.block.access.token.lifetime 
600 
访问令牌的有效时间 
26. dfs.datanode.data.dir.perm  
755 
27. dfs.replication.max  
512 
块复制的最大数量 
28. dfs.replication.min      
1 
块复制的最小数量 
29. dfs.block.size 
67108864     
缺省的文件块大小为64M 
30. dfs.df.interval   
60000 
磁盘空间统计间隔为6秒 
31. dfs.client.block.write.retries  
3 
块写入出错时的重试次数 
32. dfs.blockreport.intervalMsec 
3600000  
块的报告间隔时为1小时 
33. dfs.blockreport.initialDelay 
0 
块顺序报告的间隔时间 
34. dfs.heartbeat.interval  
3 
数据节点的心跳检测间隔时间 
35. dfs.namenode.handler.count 
10 
名称节点的连接处理的线程数量 
36. dfs.safemode.threshold.pct 
0.999f 
启动安全模式的阀值设定 
37. dfs.safemode.extension 
30000 
当阀值达到量值后扩展的时限 
38. dfs.balance.bandwidthPerSec 
1048576 
启动负载均衡的数据节点可利用带宽最大值为1M 
39. dfs.hosts  
可与名称节点连接的主机地址文件指定 
40. dfs.hosts.exclude  
不充计与名称节点连接的主机地址文件设定 
41. dfs.max.objects 
0 
文件数、目录数、块数的最大数量 
42. dfs.namenode.decommission.interval 
30 
名称节点解除命令执行时的监测时间周期 
43. dfs.namenode.decommission.nodes.per.interval 
5 
名称节点解除命令执行是否完检测次数 
44. dfs.replication.interval  
3 
名称节点计算数据节点的复制工作的周期数 
45. dfs.access.time.precision 
3600000 
充许访问文件的时间精确到1小时 
46. dfs.support.append 
false 
是否充许链接文件指定 
47. dfs.namenode.delegation.key.update-interval 
86400000 
名称节点上的代理令牌的主key的更新间隔时间为24小时 
48. dfs.namenode.delegation.token.max-lifetime 
604800000 
代理令牌的有效时间最大值为7天 
49. dfs.namenode.delegation.token.renew-interval 
86400000 
代理令牌的更新时间为24小时 
50. dfs.datanode.failed.volumes.tolerated   
0 
决定停止数据节点提供服务充许卷的出错次数。0次则任何卷出错都要停止数据节点