大数据

  • hadoop【HDFS的基本命令】

    1.先进入到Hadoop用户下,然后:cd  /usr/local/hadoop-0.20.2-cdh4u5/   ls一下   这时候会看见一个bin目录,bin目录下的,都是我们的命令。像JDK里面,bin目录里面不也是我们的命令嘛,像Java、ja…

    大数据 2021年11月15日
  • 软件调试:利用断言ASSERT宏定位软件bug

    /*      *Author  : DavidLin             *Date    : 2014-12-26pm &nbsp…

    大数据 2021年11月15日
  • hadoop troubleshooting

    hadoop在启动的时候提示出现没有设置JAVA_HOME的解决办法: 1. 如果在系统中已经添加了环境变量,同样提示没有JAVA_HOME的环境变量。此时需要修改hadoop-env.sh文件中的JAVA_HOME的配置项,直接些绝对路径,保存即…

    大数据 2021年11月15日
  • SMTP connect() failed解决方案

    1、首先检查php是否安装openssl模块<?phpecho !extension_loaded('openssl')?"Not Available":"Available";2、接下来下载PHPMailer模块放在Vendor目录下3、码代码function send_email($to,$…

    大数据 2021年11月15日
  • 记一次hadoop大数据集群生产事故

    陆续对原有的hadoop、hbase集群做了扩容,增加了几个节点,中间没有重启过,今天早上发现一个hregionserver服务停止了,就先启动服务,没想到启动之后一直有访问数据的出错,尝试对整个hbase集群进行重启出现了下面…

    大数据 2021年11月15日
  • 第43讲:Scala中类型变量Bounds代码实战及其在Spark中的应用源码解析

    类型变量的界定: 类型变量的上界,类型变量的下界。 上界就是类型必须是界定类型的子类,看如下示例: package com.dt.scala.type_parameterization // 我们需要定义一个泛型类Pair,泛型类中有一个bigg…

    大数据 2021年11月15日
  • SPARK大数据计算BUG处理:

    大数据计算BUG处理: 程序修改前资源情况: Driver : 1台 Worker : 2台 程序提交申请内存资源 : 1G内存 内存分配情况 :  1. 20%用于程序运行 2. 20%用于Shuffle 3. 60%用于RDD缓存 单条TweetBean大小 : 3k …

    大数据 2021年11月15日
  • Spark1.5.1学习笔记(二)IDE开发环境配置

    鲁春利的工作笔记,谁说程序员不能有文艺范?

    大数据 2021年11月15日
  • 重装系统的时候重装不了该怎么办

    当电脑使用异常的时候,除了一部分害怕重装系统对电脑的影响的人,大部分人都是选择通过重装系统来解决。但是有些人会出现不了系统重装的情况,比如重装过程出现无法下载系统,无法打开安装器或者重装过程报错10010…

    大数据 2021年11月15日
  • python 运行nmon使用说明

    python 运行nmon使用说明 第一步:安装:paramikowindow安装方法:pip install paramiko 参考:http://www.jb51.net/article/97655.htm第二步:以下代码包含发送命令与下载单个文件与目录文件下的所有;缺点是没有…

    大数据 2021年11月15日