开源
-
基于 Elasticsearch 搜索平台
背景 随着公司业务的高速发展以及数据爆炸式的增长，当前公司各产线都有关于搜索方面的需求，但是以前的搜索服务系统由于架构与业务上的设计，不能很好的满足各个业务线的期望，主要体现下面三个问题： 不能支持对…
-
关于10G/40G/100G数据中心光纤布线知识
随着人们对于数据中心的扩建与可扩展性要求的不断增大，如何实现数据中心从40G/100G向400G的平滑演进成为一个在问题，提升竞争力成为布线甚而设施必须实现可靠性、可管理性和灵活性。光纤连接解决方案可以 使数据中…
-
分布式系统设计基础知识
在云计算，大数据，互联网等领域，都存在集群的概念，那么如何进行集群管理呢？虽然各有各的实现方式，但是思想都一样，通过leader管理一个集群，有自己的选举算法。而且集群中相似功能的组件也很多，可供用户任意…
-
Spark中Cache与Persist的巅峰对决
Cache的产生背景 我们先做一个简单的测试读取一个本地文件做一次collect操作： val rdd=sc.textFile("file:///home/hadoop/data/input.txt") val rdd=sc.textFile("file:///home/hadoop/data/input.txt") 上面我们…
-
Hadoop基础入门学习笔记（基本概念）
一、数据块(blck) HDFS(Hadp Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中…
-
Appium测试过程
测试步骤：定位--->交互--->断言 定位方法：id（重要）： 对应 resource-idaccessibility id：对应 content-desc（重要）xpath（重要）-----------------------------------逻辑复杂，比前两种要慢class：不…
-
Hive-1.2.0学习笔记汇总
鲁春利的工作笔记，谁说程序员不能有文艺范？ Hive-1.2.0学习笔记（一）安装配置 http://luchunli.blog.51cto.com/2368057/1693817 Hive-1.2.0学习笔记（二）Hive数据类型 &nb…
-
0031-如何在CDH启用Kerberos的情况下安装及使用Sentry(一)
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.文档编写目的 本文档主要讲述如何在启用Kerberos的CDH集群中安装配置及使用Sentry。 内容概述 1.如何安装Sentry服务 2.Hive/Impala/Hue/HDFS服…
-
软件测试基础
软件测试定义：通过人工或者自动的手段，对于被测试对象进行检测的活动，目的在于发现被检测对象是否实现用户的需求，或者弄清实际结果与预期出现的结果有什么区别。 软件测试不只…
-
月工资计算日薪计算加班公式
国家规定每月计算天数为 21.75(天) 日=月薪金额 ÷ 天数 加班计算 加班应得薪金／天 = 月薪金额 ÷ 天数 × 加班倍数 例子如下： 月工资金额为：2000 国家规定每月计算天数为…