开源
-
gRPC快速入门（四）——gRPC快速入门
gRPC快速入门（四）——gRPC快速入门 一、gRPC简介 1、gRPC简介 gRPC是一个高性能、通用的开源RPC框架，基于ProtoBuf(Protocol Buffers)序列化协议开发，且支持众多开发语言，目前提供C、Java和Go语言版本，分别是grp…
-
hadoop datanode 不能连接 namenode
start-dfs.sh进程都启动成功master:65456 Jps64881 NameNode65057 DataNode 7380 NodeManager 65276 SecondaryNameNodeslave:3607 DataNode 7380 NodeManager3675 Jps hadoop下：slaves文件设置：masterslave1slave…
-
Hive Sum MAX Over Demo(单月访问次数和总访问次数)
A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-03,22B,2015-03,23B,2015-03,10B,2015-03,1 求每个用户单月的访问次数和…
-
Hadoop运维记录系列（二十七）
记录一个调试 pyspark2sql 访问 HDFS 透明加密的问题。 访问源码如下，使用 pyspark2.1.3，基于 CDH 5.14.0 hive 1.1.0 + parquet，其中select的部分会访问 hdfs 加密区域。 from pyspark.sql import SQLContext fr…
-
LoadRunner打印重定向状态码
Action() { int HttpRetCode; web_set_option("MaxRedirectionDepth", "0", LAST ); //将允许的最大重定向次数设为0，即关闭重定向 web_url(&quo…
-
分布式资源调度——YARN框架
YARN产生背景 YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题： 单点故障 节点压力大 不易扩展 MapReduce1.x时的架构如下： 可以看到，1.x时也是Master/Slave这种主从结构，…
-
学习日志---基于hadoop实现PageRank
PageRank简单介绍： 其值是通过其他值得指向值所决定，具体例子如下： 第一部分： 对应于每个mapReduce的计算： 由mapper算出每个点所指节点的分值，由reduce整个key相同的，由公式算出。 三角号表示的是迭代两次之…
-
Spark SQL 使用beeline访问hive仓库
一、添加hive-site.xml 在$SPARK_HOME/conf下添加hive-site.xml的配置文件，目的是能正常访问hive的元数据 vim hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL…
-
敏捷软件开发实践-Sprint Story Point Estimation
介绍： 对于story来说，一个很重要的衡量它的大小的因素就是story point,它不等同于软件工作量评估中的Function Point,因为story point只是用来粗略的相对的估计story的大小，而Function Point则是用来衡量功能模块…
-
登陆接口测试
1，前提是你得有安装好了的jmeter。这里具体安装教程自己百度学着弄吧。2，点击安装了的jmeter文件，bin路径下找到jmeter.bat，以管理员方式运行打开。3，这样我们就来到了主界面。4，创建线程。5，我们以创建三个…