开源
-
LDAP 同步数据，字段超出解决方案
设置attribute，过滤想要的字段
-
Java 如何远程调用 SPL 脚本
在《Java 如何调用 SPL 脚本》中我们介绍了在 Java 中可以部署集算器 JDBC 来调用本地 SPL 脚本，那如何能在 Java 中远程调用 SPL 脚本呢？这就是接下来要说的重点！ 实现思路通过下图一目了然： 部署服务器 服务器…
-
Ubuntu16.04下添加新用户
某些情况下，ubuntu 使用useradd 新用户名，在home 文件夹下面看不到新创建的用户文件夹，例如： root@worker:/home/kuku# useradd spark root@worker:/home/kuku# passwd spark Enter ne…
-
python+selenium 对于iframe的切入切出
发现问题：在对http://www.126.com自动化测试登陆邮箱的时候，总是不能定位到登陆名和密码。不管是用class,xpath,id,css等方法均是不可以。后来仔细查看，才发现这个登陆内嵌的，即iframe，所以要对其切入才能定位…
-
基于Spark MLlib平台的协同过滤算法---电影推荐系统
基于Spark MLlib平台的协同过滤算法---电影推荐系统 又好一阵子没有写文章了，阿弥陀佛...最近项目中要做理财推荐，所以，回过头来回顾一下协同过滤算法在推荐系统中的应用…
-
HDFS的shell和API操作
1. HDFS的shell操作 hadoop version //查看版本 hadoop fs -appendToFile src(Linux中的文件) dest(hdfs目录下的文件) //追加 hadoop fs -cat file(hdfs目录下的文件) //查看文件内容 Hadoop fs -tail file(hdfs目…
-
hadoop源码解析---INodeReference机制
本文主要介绍了hadoop源码中hdfs的INodeReference机制。 在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，…
-
四、spark--sparkSQL原理和使用
[TOC] 一、spark SQL概述 1.1 什么是spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。类似于hive的作用。 1.2 spark SQL的特点 1…
-
maintain form 提交后的页面Order Status
Maintain Cart Layouts->Order Status Screen
-
监控服务器的方法汇总
top命令、sar命令(-u -r -d) https://blog.51cto.com/11009785/2406359 Linux监控神器：glances https://blog.51cto.com/11009785/2406378 Grafana+Telegraf+InfluxDB https://blog.51cto.com/11009785/2393032