大数据
-
白话 马尔克夫过程
马尔科夫过程是随机过程的限定条件下的描述。 马尔科夫过程描述的是未来发生的事情只会被今天的环境影响而今天以前的环境无关。 如 A0->A1->A2，A0影响了A1的发生，A1影响了A2的发生，A0对于A2的发生的影响在…
-
double类型数值比较的坑
double类型的数据不能直接用==比较 需要用包装类型的方法比较： //如果 d1 和 d2 是double类型if ( Double.doubleToLongBits(d1) == Double.doubleToLongBits(d2) ) //f1 和 f2 是d2是float类型if( Float.floatToIn…
-
react 在别的浏览器中显示，在qq浏览器中显示白板
今天碰到一个坑，在别的浏览器显示正常，只有qq浏览器不正常， 加了require('core-js'); 就好了，记一下
-
Prime_DSC_MentionCalcSpark性能调优
Prime_DSC_MentionCalcSpark系统简介 实现功能 : 根据条件(siteId, startTime, endTime, campaignId, folder)从HBase数据源中读取文本数据作为输入,把提交的关键词作为条件,输出在文本中关键词提及的次数 存在问题 …
-
ComponentOne 2018V2正式发布，提供轻量级的 .NET
ComponentOne Enterprise 是一款专注于企业应用 .NET开发的 Visual Studio 组件集，包含 300多种 .NET控件，支持 WinForm，WPF，UWP，ASP.NET MVC 等七个 .NET开发平台，具备表格数据管理、数据可视化、报表和…
-
linux hadoop大数据环境下，某台数据节点下/home文件夹损坏，使用shell快速重新创建
问题描述: 局域网内搭建hadoop环境，节点/home是挂载在单独磁盘上，某次断电原因导致几个节点/home文件系统损坏，无法恢复，只能格式化之后重新挂载/home，然后使用脚本快速恢复hadoop众多…
-
Spark SQL性能优化
==> 在内存中缓存数据 ---> 性能调优主要是将数据放入内存中操作 ---> 使用例子： // 从 Oracle 数据库中读取数据，生成 Data…
-
Hive 查询中的分组排名
语法：ROW_NUMBER() OVER(PARTITION BY COLUMN<针对排名的字段> ORDER BY COLUMN<需要排名的字段> （desc<倒序>）) SELECT *, Row_Number() OVER (partition by deptid ORDER BY salary de…
-
接口自动化测试PHPUnit-框架代码开发1
经过上一篇的架构设计之后，我们就要开始编写代码了，因为涉及代码较多，所以将分多次进行讲解。 先看一张整体结构图 今天我们先来看看testcase文件里的编写。此处我们以之前的老黄历接口为例。 lhl_test.php内容如…
-
Hadoop维护实战-设置hdfs副本数 dfs.replication
Hadoop维护实战 设置hdfs副本数 dfs.replication 有个临时应用，使用临时调配的机器，机器磁盘差别数十倍。 在使用hadoop存储数据时导致小磁盘机器使用率达80%多，而大磁盘机器使用不过才10%多一点。 明显的ha…