大数据
-
基于Spark MLlib平台的协同过滤算法---电影推荐系统
基于Spark MLlib平台的协同过滤算法---电影推荐系统 又好一阵子没有写文章了，阿弥陀佛...最近项目中要做理财推荐，所以，回过头来回顾一下协同过滤算法在推荐系统中的应用…
-
HDFS的shell和API操作
1. HDFS的shell操作 hadoop version //查看版本 hadoop fs -appendToFile src(Linux中的文件) dest(hdfs目录下的文件) //追加 hadoop fs -cat file(hdfs目录下的文件) //查看文件内容 Hadoop fs -tail file(hdfs目…
-
hadoop源码解析---INodeReference机制
本文主要介绍了hadoop源码中hdfs的INodeReference机制。 在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，…
-
四、spark--sparkSQL原理和使用
[TOC] 一、spark SQL概述 1.1 什么是spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。类似于hive的作用。 1.2 spark SQL的特点 1…
-
maintain form 提交后的页面Order Status
Maintain Cart Layouts->Order Status Screen
-
监控服务器的方法汇总
top命令、sar命令(-u -r -d) https://blog.51cto.com/11009785/2406359 Linux监控神器：glances https://blog.51cto.com/11009785/2406378 Grafana+Telegraf+InfluxDB https://blog.51cto.com/11009785/2393032
-
使用Docker快速搭建Zookeeper和kafka集群
集群搭建 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像，版本3.4kafka采用wurstmeister/kafka镜像 集群规划 hostname Ip addr port listener zoo1 172.19.0.11 2184:2181 zoo2 172.19.0.…
-
mysql api---从一个小例子开始mysql编程入门（1）
C APIs包含在mysqlclient库文件当中，与MySQL的源代码一块发行，用于连接到数据库和执行数据库查询 locate mysql.h 命令可以查看mysql.h 位于/user/include/mysql/mysql.h一个小例子来看一下mysql api 大概用法，用…
-
单独启动和关闭hadoop服务
1）启动名称节点 Hadoop-daemon.sh start namenode 2) 启动数据节点 hadoop-daemons.sh start datanode slave 3）hadoop-daemon.sh start secondarynamenode 4…
-
Hive入门到剖析（三）
8 Hive Shell操作 8.1 Hive bin下脚本介绍 8.2 Hive Shell 基本操作 1、Hive 命令行 hive [-hiveconf x=y]* [<-ifilename>]* [<-f filename>|<-e query-string&…