HDFS For core-site.xml详解大数据

1.重要部分

 
 1. fs.default.name 
    hdfs://master:9000   
    定义master的URI和端口 
 
 2. hadoop.tmp.dir 
    /usr/hadoop/tmp 
    临时文件夹，指定后需将使用到的所有子级文件夹都要手动创建出来，否则无法正常启动服务。 
 
 3. io.file.buffer.size 
    131072 
    用作序列化文件处理时读写buffer的大小 

2.其他部分

 
1. fs.checkpoint.dir 
${hadoop.tmp.dir}(默认)/dfs/namesecondary 
SNN的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉 
2. fs.checkpoint.period 
1800 
定义ND的备份间隔时间，秒为单位，只对SNN效，默认一小时 
3. fs.checkpoint.size 
33554432 
以日志大小间隔做备份间隔，只对SNN生效，默认64M 
4. fs.checkpoint.edits.dir 
${fs.checkpoint.dir}(默认) 
SNN的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录 
5. fs.trash.interval 
10800 
HDFS垃圾箱设置，可以恢复误删除，分钟数，0为禁用，添加该项无需重启hadoop 
6. hadoop.http.filter.initializers 
org.apache.hadoop.security.AuthenticationFilterInitializer 
需要jobtracker,tasktracker,NN,DN等http访问端口用户验证使用，需配置所有节点 
7. hadoop.http.authentication.type 
simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME# 
验证方式，默认为简单，也可自己定义class,需配置所有节点 
8. hadoop.http.authentication.token.validity 
36000 
验证令牌的有效时间,需配置所有节点 
9. hadoop.http.authentication.signature.secret 
默认可不写参数 
默认不写在hadoop启动时自动生成私密签名,需配置所有节点 
10. hadoop.http.authentication.cookie.domain 
domian.tld 
http验证所使用的cookie的域名，IP地址访问则该项无效，必须给所有节点都配置域名才可以 
11. hadoop.http.authentication.simple.anonymous.allowed 
true | false 
简单验证专用，默认允许匿名访问，true 
12. hadoop.http.authentication.kerberos.principal 
HTTP/localhost@$LOCALHOST 
Kerberos验证专用，参加认证的实体机必须使用HTTP作为K的Name 
13. hadoop.http.authentication.kerberos.keytab 
/home/wuyang/hadoop.keytab 
Kerberos验证专用，密钥文件存放位置 
14. hadoop.security.authorization 
true|false 
Hadoop服务层级验证安全验证，需配合hadoop-policy.xml使用，配置好以后用dfsadmin,mradmin -refreshServiceAcl刷新生效 
15. hadoop.security.authentication 
simple | kerberos 
hadoop本身的权限验证，非http访问，simple或者kerberos 
16. hadoop.logfile.size 
1000000000 
设置日志文件大小，超过则滚动新日志 
17. hadoop.logfile.count 
20 
最大日志数 
18. io.bytes.per.checksum 
1024 
每校验码所校验的字节数，不要大于io.file.buffer.size 
19. io.skip.checksum.errors 
true | false 
处理序列化文件时跳过校验码错误，不抛异常。默认false 
20. io.serializations 
org.apache.hadoop.io.serializer.WritableSerialization 
序列化的编解码器 
21. io.seqfile.compress.blocksize 
1024000 
块压缩的序列化文件的最小块大小，字节 
22. io.compression.codecs 
org.apache.hadoop.io.compress.DefaultCodec, 
com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec 
Hadoop所使用的编解码器，gzip、bzip2为自带，lzo需安装hadoopgpl或者kevinweil，逗号分隔。snappy需要单独安装并修改hadoop-env.sh配置LD_LIBRARY_PATH=snappy类库位置 
23. io.compression.codec.lzo.class 
com.hadoop.compression.lzo.LzoCodec 
LZO所使用的压缩编码器  
24. webinterface.private.actions 
true | false 
设为true，则JT和NN的tracker网页会出现杀任务删文件等操作连接，默认是false 
25. topology.script.file.name 
/hadoop/bin/RackAware.py 
机架感知脚本位置 
26. topology.script.number.args 
1000 
机架感知脚本管理的主机数，IP地址