大数据
-
hadoop【HDFS的基本命令】
1.先进入到Hadoop用户下,然后:cd /usr/local/hadoop-0.20.2-cdh4u5/ ls一下 这时候会看见一个bin目录,bin目录下的,都是我们的命令。像JDK里面,bin目录里面不也是我们的命令嘛,像Java、ja…
-
软件调试:利用断言ASSERT宏定位软件bug
/* *Author : DavidLin *Date : 2014-12-26pm  …
-
hadoop troubleshooting
hadoop在启动的时候提示出现没有设置JAVA_HOME的解决办法: 1. 如果在系统中已经添加了环境变量,同样提示没有JAVA_HOME的环境变量。此时需要修改hadoop-env.sh文件中的JAVA_HOME的配置项,直接些绝对路径,保存即…
-
SMTP connect() failed解决方案
1、首先检查php是否安装openssl模块<?phpecho !extension_loaded('openssl')?"Not Available":"Available";2、接下来下载PHPMailer模块放在Vendor目录下3、码代码function send_email($to,$…
-
记一次hadoop大数据集群生产事故
陆续对原有的hadoop、hbase集群做了扩容,增加了几个节点,中间没有重启过,今天早上发现一个hregionserver服务停止了,就先启动服务,没想到启动之后一直有访问数据的出错,尝试对整个hbase集群进行重启出现了下面…
-
第43讲:Scala中类型变量Bounds代码实战及其在Spark中的应用源码解析
类型变量的界定: 类型变量的上界,类型变量的下界。 上界就是类型必须是界定类型的子类,看如下示例: package com.dt.scala.type_parameterization // 我们需要定义一个泛型类Pair,泛型类中有一个bigg…
-
SPARK大数据计算BUG处理:
大数据计算BUG处理: 程序修改前资源情况: Driver : 1台 Worker : 2台 程序提交申请内存资源 : 1G内存 内存分配情况 : 1. 20%用于程序运行 2. 20%用于Shuffle 3. 60%用于RDD缓存 单条TweetBean大小 : 3k …
-
Spark1.5.1学习笔记(二)IDE开发环境配置
鲁春利的工作笔记,谁说程序员不能有文艺范?
-
重装系统的时候重装不了该怎么办
当电脑使用异常的时候,除了一部分害怕重装系统对电脑的影响的人,大部分人都是选择通过重装系统来解决。但是有些人会出现不了系统重装的情况,比如重装过程出现无法下载系统,无法打开安装器或者重装过程报错10010…
-
python 运行nmon使用说明
python 运行nmon使用说明 第一步:安装:paramikowindow安装方法:pip install paramiko 参考:http://www.jb51.net/article/97655.htm第二步:以下代码包含发送命令与下载单个文件与目录文件下的所有;缺点是没有…