数据湖
-
分类问题 特征向量的归一化方法详解大数据
下面介绍几种归一化的方法： 1、线性函数转换，表达式如下： y=(x-MinValue)/(MaxValue-MinValue) 2、对数函数转换，表达式如下： …
-
分类问题 boosting思想详解大数据
Boosting思想： Boosting方法不是一种特定的学习方法，而是一种在已有的学习方法基础上进行“投票”的方式。具体说来，它是对已有的若干分类器（可谓同类或者异类，且分类效果…
-
过拟合问题简述详解大数据
关于过度拟合的概念：给定一个假设空间H，一个假设h∈H，如果存在其他的假设h’∈H，使得在训练样例上h的错误率比h‘小，但在整个实例分布上h’的错误率比h小，那么 就说假设h过度拟…
-
正则化解决过拟合问题详解大数据
关于正则化，以下引自李航博士《统计学习方法》1.5节关于正则化的一些描述： 模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regula…
-
词性标注 词性标识编码表详解大数据
参考《PFR人民日报标注语料库》的词性编码表，如表4-4所示： 表4-4 词性编码表 代码 名称 举例 a 形容词 最/d 大/a 的/u&nb…
-
weka中的各算法说明详解大数据
1) 数据输入和输出 WOW()：查看Weka函数的参数。 Weka_control()：设置Weka函数的参数。 read.arff()：读Weka Attribute-Rela…
-
LDA主题模型介绍详解大数据
LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。LDA是一种非监督机器学习技术，可…
-
LDA主题模型的java代码实现详解大数据
public class LdaGibbsSampling { public static class modelparameters { float alpha = 0.5f; …
-
Libsvm的使用详解大数据
LIBSVM简介支持向量机所涉及到的数学知识对一般的化学研究者来说是比较难的，自己编程实现该算法难度就更大了。但是现在的网络资源非常发达，而且国际上的科学研究者把他们的研究成果已经…
-
adaBoost算法详解大数据
二、Adaboost算法及分析 从图1.1中，我们可以看到adaboost的一个详细的算法过程。Adaboost是一种比较有特点的算法，可以总结如下： 1）每次迭代改变的是…