数据分析

敲黑板，划重点 上大学那会，贝叶斯定理是用来求条件概率的；现在才知道，贝叶斯定理其实是在讲先验、似然与后验的故事。 贝叶斯定理是一种信仰。 1、频率学派与贝叶斯学派 频率学派认为，…

1、决策树是一种基本的分类、回归算法 2、1986年ID3算法；1994年C4.5算法；1984年CART算法 3、决策树从根节点到一个叶节点表示一条路径，代表一串规则、条件。 4…

参考：https://gist.github.com/tomcatzh/5d1d0d9a95cecba798d1 func readLines(path string) ([]st…

1.Spark 1.5版本针对DataFrame引入的新的内存管理，防止由JVM管理导致频繁GC的现象，极大了提升了性能，具体Spark 1.5版本的更新内容见以下链接： http…

吐血奉献，Spark-Core源码阅读，适合新手，详细请见链接： http://download.csdn.net/detail/wl044090432/9421721 目录结构为…

由于业务场景需求，需要通过spark从hdfs拉取数据进行40G的数据分析，按照官网搭建完spark的环境之后，就开始提交job运行了，大致的环境配置如下：4台服务器，每台服务器6…

针对大批量插入Hbase的场景，如果单条记录插入的时候效率比较低下，如果可以利用Rdd生成Hfile的话，然后利用Bulk Load导入Hfile的话，则会大大提升导入的速度，废话…

有时候我们会碰到这样的场景：利用Spark批量插入数据。因为Spark相比MR编程更方便，更容易上手。因此接下来讲讲利用Spark批量插入数据时候的注意点。假设批量往SolrClo…

1.      SparkContext提供了一个取消job的api class SparkContext(config…

原文链接：https://databricks.com/blog/2015/05/28/tuning-java-garbage-collection-for-spark-appli…