大数据
-
python计算IV值及使用
更多大数据分析、建模等内容请关注公众号《bigdatamodeling》 在对变量分箱后，需要计算变量的重要性，IV是评估变量区分度或重要性的统计量之一，python计算IV值的代码如下： def CalcIV(Xvar, Yvar): N_0 = np.sum…
-
jmeter之使用fidder抓包之后进行接口测试
首先使用fidder抓包提取提交参数与url:然后在jmeter上创建线程，http请求后可以看到返回值
-
spark-submit提交任务时报错，Error initializing SparkContext
16/03/04 00:21:09 WARN SparkContext: Using SPARK_MEM to set amount of memory to use per executor process is deprecated, please use spark.executor.memory instead. 16/03/04 00:21:09 ERROR SparkContext:…
-
旅游研究院大数据挖掘与分析科研平台建设方案
一. 背景 一.1 数据挖掘和大数据分析行业背景和发展趋势 移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据 IDC 《数字宇宙》(Digital Universe)研究报告显示，2020 年全球新建…
-
LR11中将IE9降级为IE8
1. 卸载IE9 装了Win7 64位后，默认的IE是IE9，先把IE9卸载。 打开控制面板->程序->查看已经安装的更新，找到IE9卸载，重启。 卸载后，IE自动变为IE8。 其中存在C:/Program Files/Internet Explorer下面的是64…
-
大数据生态之zookeeper（shell使用）
进入zk的客户端：zkCli.sh -server hadoop01:2181 查看znode子节点内容： ls / 创建znode节点：create /zookeeper/node1 ‘内容’ （内容必须添加，不然创建不成功） 获取 znode 数据：get /ZooKeeper 设置znode数据…
-
颉一科技创始人查理荣获“2019 中国数据智能领袖”
4月23日，由商业伙伴咨询机构主办，中国信息产业商会人工智能分会、中国电子工业标准协会信息技术服务分会、中关村大数据产业联盟、国宾企业家俱乐部协办的第五届“2019中国IT生态英雄会”在京成功举办。 近百位来自…
-
Python的举例之一
利用Python画心形图，真是好奇妙啊，代码分享下~ from turtle import *pensize(1)pencolor('red')fillcolor('pink')speed(5)up()goto(-30, 100)down()begin_fill()left(90)circle(120,180)circle(360,70)left(38)ci…
-
好程序员大数据教程分享Scala系列之模式匹配和样例类
好程序员大数据教程分享Scala系列之模式匹配和样例类1.样例类在Scala中样例类是一中特殊的类，样例类是不可变的，可以通过值进行比较，可用于模式匹配。定义一个样例类：1.构造器中每一个参数都是val,除非显示地声…
-
HDFS常用命令整理
简介： HDFS 文件系统提供了相当多的shell 操作命令，大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。进一步，HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致，因而学习HDFS 命令的成本也大为缩…