HDFS
-
HBase-day1-day2内容理解
HBase图 HBase概述 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据（底层是字节数组做存储的） HBa…
-
HDFS 伪分布式环境搭建
HDFS 伪分布式环境搭建 作者：Grey 原文地址： 博客园：HDFS 伪分布式环境搭建 CSDN：HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentO…
-
DataFrame中的行动算子操作2
## 修改hdfs-site.xml <property> <name>hive.metastore.warehouse.dir</name> …
-
暑假学习6 hdfs shell命令
命令行操作：cli Hadoop的命令shell ： Hadoop fs -ls file: 操作 本地的文件系统 hadoop fs -ls …
-
Java操作HDFS
Java操作HDFS “`java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f…
-
haddoob分布式文件系统架构
一、apache Apache基金会 是专门为支持开源软件项目而办的一个非盈利性组织 二、分布式文件系统 1、FS File System 文件系统时极域硬盘之上的文件管理的工具 …
-
CDH更改datanode存储目录
1.问题梳理： CDH集群中，数据文件位置默认在 /dfs/dn 中，这个目录所属的盘符是 /，但是 ‘/’只有50G大小，还有其他各种文件的日志什么的，空间很紧张。今天启动脚本上…
-
CDH更改datanode存储目录
1.问题梳理： CDH集群中，数据文件位置默认在 /dfs/dn 中，这个目录所属的盘符是 /，但是 ‘/’只有50G大小，还有其他各种文件的日志什么的，空间很紧张。今天启动脚本上…
-
HDFS-存储优化
1.纠缠码 原理：HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算的方式，可以节省约50％左右的存…
-
HDFS配置HA下spark-sql写入hive报错Wrong FS
背景: CDH集群的HDFS HA已配置完毕，Hive也相应进行了Update Hive Metastore NameNode，Hive的业务sql脚本都正常运行。 在使用…