大数据
-
在线日志分析项目解读
1，日志的采集 从flume agent 上的数据一般分到两条线上一条是kafka 集群 ，后期可以用流式处理（spark streaming 或storm 等等）一条是到hdfs，后期可以用hive处理， 业界叫lambda架构 architecture (一般公司的推…
-
移动硬盘显示无法访问由于IO设备错误,无法运行此项请求，里面的资料如何寻回
移动磁盘打不开由于IO设备错误,无法运行此项请求，是因为这个I盘的文件系统内部结构损坏导致的。要恢复里面的数据就必须要注意，这个盘不能格式化，否则数据会进一步损坏。具体的恢复方法看正文 工具/软件：流星数…
-
python单个接口测试记录
#encoding=utf-8 import chardet import urllib import requests import json import os import hashlib '''校验短信验证码到接口''' def checkVCodeBeforeLoginNew(): head = { 'Content-Type': "application/json…
-
Linux下用户组、文件权限详解
用户组在linux中的每个用户必须属于一个组，不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念 所有者 所在组 其它组 改变用户所在的组 所有者 一般为文件的创建者，谁创建了该文件，就天然的成为…
-
生产常用Spark累加器剖析之二
Driver端 Driver端初始化构建Accumulator并初始化，同时完成了Accumulator注册，Accumulators.register(this)时Accumulator会在序列化后发送到Executor端 Driver接收到ResultTask完成的状态更新后，会去更新Value的…
-
利用apache ab命令完成性能测试
ab是什么 ab的全称是ApacheBench，是 Apache 附带的一个小工具，专门用于 HTTP Server 的benchmark testing，可以同时模拟多个并发请求。 ab的用法 ab 的用法是：ab [options] [http://]hostname[:port]/path 例如…
-
盘点以“用户体验”为核心的app推广方式
现在应用市场里面的app成千上万，如何在这么多的应用中脱颖而出，本质上需要你的app产品质量足够的耐得住考验，而实际上同时又需要你去做一定的推广，以下将大概讲讲围绕“产品质量”的推广方式，但记住关键还是要有…
-
关于静态动态网页内容获取的N种方法
爬虫是我们快速获取需要的数据的一个非常有效的途径，而爬虫的第一步便是能够请求远方服务器为我们返回所需的网页信息。我们知道，正常情况下在浏览器上我们只要…
-
应用程序无法正常启动解决方法
1）应用程序无法正常启动0xc000007b Win32可执行程序在64位操作系统运行的时候，弹出错误解决找不到wpcap.dll，直接在System32文件夹下，拷贝wpcap.dll到系统中，运行出现如下的错误：应用程序无法正常启动0xc00000…
-
spark（二）：spark架构及物理执行图
上图是一个job的提交流程图，job提交的具体步骤如下 一旦有action，就会触发DagScheduler.runJob来提交任务，主要是先生成逻辑执行图DAG，然后调用 finalStage = newStage() 来划分 stage。 new Stage() 的时候会调…