HDFS For hdfs-site.xml详解大数据

一、重要部分

 1. dfs.name.dir 
    /usr/hadoop/hdfs/name 
    存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份 
 
 2. dfs.data.dir 
    /usr/hadoop/hdfs/data 
    数据节点的块本地存放目录 
 
 3. dfs.replication 
    3 
    缺省的块复制数量 
 
 4. dfs.webhdfs.enabled 
    true 
    使WebHDFS（REST API）在Namenodes和数据节点。 
 
 5. dfs.namenode.secondary.http-address 
    centos201:9001 
    二Namenode HTTP服务器地址和端口。 
 

二、其他部分

 1. dfs.namenode.logging.level  
     info 
     输出日志类型 
 
 2. dfs.secondary.http.address  
     0.0.0.0:50090 
     备份名称节点的http协议访问地址与端口 
 
 3. dfs.datanode.address 
     0.0.0.0:50010 
     数据节点的TCP管理服务地址和端口 
 
 4. dfs.datanode.http.address 
     0.0.0.0:50075 
     数据节点的HTTP协议访问地址和端口 
 
 5. dfs.datanode.ipc.address 
     0.0.0.0:50020 
     数据节点的IPC服务访问地址和端口 
 
 6. dfs.datanode.handler.count 
     3 
     数据节点的服务连接处理线程数 
 
 7. dfs.http.address 
     0.0.0.0:50070 
     名称节点的http协议访问地址与端口 
 
 8. dfs.https.enable 
     false  
     支持https访问方式标识 
 
 9. dfs.https.need.client.auth 
     false 
     客户端指定https访问标识 
 
 10. dfs.https.server.keystore.resource 
     ssl-server.xml 
     Ssl密钥服务端的配置文件 
 
 11. dfs.https.client.keystore.resource 
     ssl-client.xml 
     Ssl密钥客户端的配置文件 
 
 12. dfs.datanode.https.address  
     0.0.0.0:50475 
     数据节点的HTTPS协议访问地址和端口 
 
 13. dfs.https.address 
    0.0.0.0:50470 
    名称节点的HTTPS协议访问地址和端口 
 
 14. dfs.datanode.dns.interface     
    default       
    数据节点采用IP地址标识 
 
 15. dfs.datanode.dns.nameserver 
    default       
    指定DNS的IP地址 
 
 16. dfs.replication.considerLoad 
    true 
    加载目标或不加载的标识 
 
 17. dfs.default.chunk.view.size 
    32768 
    浏览时的文件块大小设置为32K 
 
 18. dfs.datanode.du.reserved 
    0 
    每个卷预留的空闲空间数量 
 
 19. dfs.name.edits.dir  
    ${dfs.name.dir} 
    存贮文件操作过程信息的存贮目录 
 
 20. dfs.web.ugi  
    webuser,webgroup   
    Web接口访问的用户名和组的帐户设定 
 
 21. dfs.permissions 
    true 
    文件操作时的权限检查标识 
 
 22. dfs.permissions.supergroup 
    supergroup 
    超级用户的组名定义 
 
 23. dfs.block.access.token.enable 
    false 
    数据节点访问令牌标识 
 
 24. dfs.block.access.key.update.interval 
    600 
    升级访问钥时的间隔时间 
 
 25. dfs.block.access.token.lifetime 
    600 
    访问令牌的有效时间 
 
 26. dfs.datanode.data.dir.perm  
    755 
 27. dfs.replication.max  
    512 
    块复制的最大数量 
 
 28. dfs.replication.min      
    1 
    块复制的最小数量 
 
 29. dfs.block.size 
    67108864     
    缺省的文件块大小为64M 
 
 30. dfs.df.interval   
    60000 
    磁盘空间统计间隔为6秒 
 
 31. dfs.client.block.write.retries  
    3 
    块写入出错时的重试次数 
 
 32. dfs.blockreport.intervalMsec 
    3600000  
    块的报告间隔时为1小时 
 
 33. dfs.blockreport.initialDelay 
    0 
    块顺序报告的间隔时间 
 
 34. dfs.heartbeat.interval  
    3 
    数据节点的心跳检测间隔时间 
 
 35. dfs.namenode.handler.count 
    10 
    名称节点的连接处理的线程数量 
 
 36. dfs.safemode.threshold.pct 
    0.999f 
    启动安全模式的阀值设定 
 
 37. dfs.safemode.extension 
    30000 
    当阀值达到量值后扩展的时限 
 
 38. dfs.balance.bandwidthPerSec 
    1048576 
    启动负载均衡的数据节点可利用带宽最大值为1M 
 
 39. dfs.hosts  
    可与名称节点连接的主机地址文件指定 
 
 40. dfs.hosts.exclude  
    不充计与名称节点连接的主机地址文件设定 
 
 41. dfs.max.objects 
    0 
    文件数、目录数、块数的最大数量 
 
 42. dfs.namenode.decommission.interval 
    30 
    名称节点解除命令执行时的监测时间周期 
 
 43. dfs.namenode.decommission.nodes.per.interval 
    5 
    名称节点解除命令执行是否完检测次数 
 
 44. dfs.replication.interval  
    3 
    名称节点计算数据节点的复制工作的周期数 
 
 45. dfs.access.time.precision 
    3600000 
    充许访问文件的时间精确到1小时 
 
 46. dfs.support.append 
    false 
    是否充许链接文件指定 
 
 47. dfs.namenode.delegation.key.update-interval 
    86400000 
    名称节点上的代理令牌的主key的更新间隔时间为24小时 
 
 48. dfs.namenode.delegation.token.max-lifetime 
    604800000 
    代理令牌的有效时间最大值为7天 
 
 49. dfs.namenode.delegation.token.renew-interval 
    86400000 
    代理令牌的更新时间为24小时 
 
 50. dfs.datanode.failed.volumes.tolerated   
    0 
    决定停止数据节点提供服务充许卷的出错次数。0次则任何卷出错都要停止数据节点