HDFS For core-site.xml详解大数据

1.重要部分

 
 1. fs.default.name 
    hdfs://master:9000   
    定义master的URI和端口 
 
 2. hadoop.tmp.dir 
    /usr/hadoop/tmp 
    临时文件夹，指定后需将使用到的所有子级文件夹都要手动创建出来，否则无法正常启动服务。 
 
 3. io.file.buffer.size 
    131072 
    用作序列化文件处理时读写buffer的大小 

2.其他部分

 
 1. fs.checkpoint.dir 
    ${hadoop.tmp.dir}(默认)/dfs/namesecondary 
    SNN的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉 
 
 2. fs.checkpoint.period 
    1800 
    定义ND的备份间隔时间，秒为单位，只对SNN效，默认一小时 
 
 3. fs.checkpoint.size 
    33554432 
    以日志大小间隔做备份间隔，只对SNN生效，默认64M 
 
 4. fs.checkpoint.edits.dir 
    ${fs.checkpoint.dir}(默认) 
    SNN的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录 
 5. fs.trash.interval 
    10800 
    HDFS垃圾箱设置，可以恢复误删除，分钟数，0为禁用，添加该项无需重启hadoop 
 
 6. hadoop.http.filter.initializers 
    org.apache.hadoop.security.AuthenticationFilterInitializer 
    需要jobtracker,tasktracker,NN,DN等http访问端口用户验证使用，需配置所有节点 
 
 7. hadoop.http.authentication.type 
    simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME# 
    验证方式，默认为简单，也可自己定义class,需配置所有节点 
 
 8. hadoop.http.authentication.token.validity 
    36000 
    验证令牌的有效时间,需配置所有节点 
 
 9. hadoop.http.authentication.signature.secret 
    默认可不写参数 
    默认不写在hadoop启动时自动生成私密签名,需配置所有节点 
 
 10. hadoop.http.authentication.cookie.domain 
    domian.tld 
    http验证所使用的cookie的域名，IP地址访问则该项无效，必须给所有节点都配置域名才可以 
 
 11. hadoop.http.authentication.simple.anonymous.allowed 
    true | false 
    简单验证专用，默认允许匿名访问，true 
 
 12. hadoop.http.authentication.kerberos.principal 
    HTTP/localhost@$LOCALHOST 
    Kerberos验证专用，参加认证的实体机必须使用HTTP作为K的Name 
 
 13. hadoop.http.authentication.kerberos.keytab 
    /home/wuyang/hadoop.keytab 
    Kerberos验证专用，密钥文件存放位置 
 
 14. hadoop.security.authorization 
    true|false 
    Hadoop服务层级验证安全验证，需配合hadoop-policy.xml使用，配置好以后用dfsadmin,mradmin -refreshServiceAcl刷新生效 
 
 15. hadoop.security.authentication 
    simple | kerberos 
    hadoop本身的权限验证，非http访问，simple或者kerberos 
 
 16. hadoop.logfile.size 
    1000000000 
    设置日志文件大小，超过则滚动新日志 
 
 17. hadoop.logfile.count 
    20 
    最大日志数 
 
 18. io.bytes.per.checksum 
    1024 
    每校验码所校验的字节数，不要大于io.file.buffer.size 
 
 19. io.skip.checksum.errors 
    true | false 
    处理序列化文件时跳过校验码错误，不抛异常。默认false 
 
 20. io.serializations 
    org.apache.hadoop.io.serializer.WritableSerialization 
    序列化的编解码器 
 
 21. io.seqfile.compress.blocksize 
    1024000 
    块压缩的序列化文件的最小块大小，字节 
 
 22. io.compression.codecs 
    org.apache.hadoop.io.compress.DefaultCodec, 
com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec 
    Hadoop所使用的编解码器，gzip、bzip2为自带，lzo需安装hadoopgpl或者kevinweil，逗号分隔。snappy需要单独安装并修改hadoop-env.sh配置LD_LIBRARY_PATH=snappy类库位置 
 
 23. io.compression.codec.lzo.class 
    com.hadoop.compression.lzo.LzoCodec 
    LZO所使用的压缩编码器  
 
 24. webinterface.private.actions 
    true | false 
    设为true，则JT和NN的tracker网页会出现杀任务删文件等操作连接，默认是false 
 
 25. topology.script.file.name 
    /hadoop/bin/RackAware.py 
    机架感知脚本位置 
 
 26. topology.script.number.args 
    1000 
    机架感知脚本管理的主机数，IP地址