开源

1、查看帮助 hadoop fs -help <cmd> 2、上传 hadoop fs -put <linux上文件> <hdfs上的路径>     如：hadoop fs -put test.log / 3、查看文件内容 hadoop fs -cat <hdfs上的路径>…

import java.io.ByteArrayOutputStream; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.conf.Configuration; im…

Maxwell简介 Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有E…

package testWd; import org.openqa.selenium.Alert; import org.openqa.selenium.By; import org.openqa.selenium.WebDriver; import org.openqa.selenium.WebElement; import org.openqa.selenium.chrome.ChromeD…

　　用于软件项目工作量估算的方法有以“估”为主的专家法和类推法，以“算”为主的类比法和方程法。在软件估算的实践中，类比法和类推法也是普遍使用的估算方法，但很多人搞不清二者的应用范围和估算步骤，现在笔者就…

  键值对RDD（pair RDD）是spark中许多操作所需要的常见数据类型，通常用来进行聚合计算。 创建Pair RDD   spark有多种方式可以创建pair RDD。比如：很多存储键值对的数据格式在读取时直接返回pair RDD；通过map()…

循环：不断重复进行某一运算、操作。 迭代：不断对前一旧值运算得到新值直到达到精度。一般用于得到近似目标值，反复循环同一运算式（函数），并且总是把前一 次运算结果反代会运算式进行下一次运算 递推：从初值出…

前世今生 Hive&Shark   随着大数据时代的来临，Hadoop风靡一时。为了使熟悉RDBMS但又不理解MapReduce的技术人员快速进行大数据开发，Hive应运而生。Hive是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。   但是M…

变量和常量 在 Python 中没有 常量 与 变量 之分。只有约定成俗的做法：全大写字母的名称即为 常量： PI = 3.1415926 全小写字母的名称为 变量： name = 'nemo' 变量与常量都是用来在程序运行过程中，储存需要用到…

什么是二进制