大数据
-
Git-提交代码到远程仓库
提交代码到远程仓库流程 1. 先添加到暂存区： git add . 2. 再提交到本地仓库 git commit -m "修改代码的备注" 例如： git commit -m "update token and https…
-
关于selenium中断言判断url获取错误解决
在判断url中，我使用assertEquals(期望值,driver.getCurrentUrl())来进行断言，但是始终是获取url判断时灵时不灵，因为这个是获取有时间差，如果使用等待页面元素出现再获取url也是无法有效解决，后来我写死等待时…
-
设计模式（结构型）之桥梁模式
GOF 在《设计模式》中给桥梁模式的定义为：将抽象部分与它的实现部分分离，使它们都可以独立地变化。这里的抽象部分和实现部分不是我们通常认为的父类与子类…
-
ElasticSearch的基本使用
1.rest基本介绍 REST全称Representational State Transfer。是一种软件的架构风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁，更…
-
pandas的索引操作
Pandas的索引操作 索引对象Index 1. Series和DataFrame中的索引都是Index对象 示例代码： print(type(ser_obj.index)) print(type(df_obj2.index)) print(df_obj2.index) 运行结果： <class 'pandas.indexes.ran…
-
消息中间件概述
1 消息中间件概述 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌…
-
架构师必须知道的数据
作为一名合格的架构师，有些数据是必须要牢记在心的，在设计系统的时候，能够通过定量计算，预测出系统的负载，以及各个组件单元之间的协作关系，哪里是瓶颈，如何改进，都是非常重要的。在与其他团队谈协作的时候…
-
JMeter非GUI模式、分布式压测遇到的问题
问题1： windows机作为master，1台linux虚拟机作为slave 不论是GUI模式运行，还是非GUI模式运行，TPS都是对的 windows机作为master，２台或者３台linux虚拟机作为slave 命令行运行数据正确，但是命令行运行出来的文…
-
HDFS的Shell操作（笔记）
*基本操作（单集群）：***1、创建文件夹命令[hadoop@master ~]$ hadoop fs -mkdir -p /201910212、上传文件命令[hadoop@master ~]$ hadoop fs -put test.txt /201910213、查看文件命令[hadoop@master ~]$ hadoop fs…
-
为什么我们生产上要选择Spark On Yarn模式？
为什么我们生产上要选择Spark On Yarn？ 开发上我们选择local[2]模式生产上跑任务Job，我们选择Spark On Yarn模式 ， 将Spark Application部署到yarn中，有如下优点： 1.部署Application和服务更加方便 只需要yarn…