HDFS的shell操作详解大数据

既然HDFS 是存取数据的分布式文件系统,那么对HDFS的操作,就是对文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对

HDFS 的操作命令类似于Linux 的shell 对文件的操作,只是在HDFS中,hadoop fs是主命令,其他像ls,mv,cp都是被作为该命令的选项。

以下表格列出一些常用的HDFS shell命令选项。

选项名称

使用格式

含义

-ls

-ls <路径>

查看指定路径的当前目录结构

-lsr

-lsr <路径>

递归查看指定路径的目录结构

-du

-du <路径>

统计目录下个文件大小

-dus

-dus <路径>

汇总统计目录下文件(夹)大小

-count

-count [-q] <路径>

统计文件(夹)数量

-mv

-mv <源路径> <目的路径>

移动

-cp

-cp <源路径> <目的路径>

复制

-rm

-rm [-skipTrash] <路径>

删除文件/空白文件夹

-rmr

-rmr [-skipTrash] <路径>

-rmr [-skipTrash] <路径>

-put

-put <多个linux 上的文件> <hdfs 路径>

上传文件

-copyFromLocal

-copyFromLocal <多个linux 上的文件>

<hdfs 路径>

从本地复制

-moveFromLocal

-moveFromLocal <多个linux 上的文件>

<hdfs 路径>

从本地移动

-getmerge

-getmerge <源路径> <linux 路径>

合并到本地

-cat

-cat <hdfs 路径>

查看文件内容

-text

-text <hdfs 路径>

查看文件内容

-copyToLocal

-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路

径] [linux 目的路径]

从本地复制

-moveToLocal

-moveToLocal [-crc] <hdfs 源路径> <linux

目的路径>

从本地移动

-mkdir

-mkdir <hdfs 路径>

创建空白文件夹

-setrep

setrep [-R] [-w] <副本数> <路径>

修改副本数量

-touchz

-touchz <文件路径>

创建空白文件

-stat

-stat [format] <路径>

显示文件统计信息

-tail

-tail [-f] <文件>

查看文件尾部信息

-chmod

-chmod [-R] <权限模式> [路径]

修改权限

-chown

-chown [-R] [属主][:[属组]] 路径

修改属主

-chgrp

-chgrp [-R] 属组名称路径

修改属组

-help

-help [命令选项]

帮助

注意:以上表格中对于路径,包括hdfs 中的路径和linux 中的路径。对于容易产生歧义的地方,会特别指出“linux 路径”或者“hdfs 路径”。如果没有明确指出,意味着是hdfs路径

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/9158.html

(0)
上一篇 2021年7月19日
下一篇 2021年7月19日

相关推荐

发表回复

登录后才能评论