大数据

  • hive里用shell脚本封装HiveF命令

    hive里面有个hive -e 命令可以传参数,但是当hql语句多了以后,整个shell脚本会显得比较凌乱,当然有人可能会说hive -f可以实现直接调用一个file,bingo的确如此,但是还是有个很大的缺陷,就是这个不能传参数了,…

    大数据 2021年11月15日
  • 分布式系统关注点——初识「高可用」

    本文长度为2042字,建议阅读6分钟。所有「」包裹的文字,只对第一次出现进行高亮显示。         咳咳,从这篇开始,正式拉开分布式系统关注点中,我认为第二重要的内容 —— 「高可用」。  …

    大数据 2021年11月15日
  • zabbix从入门到精通(Tshare365出品)

    前段时间学习了一下zabbix,也写了几篇文章,觉得需要汇总一下,学习zabbix朋友看过来,我将会继续更新内容,不过内容难免有错误,希望大家指正。 Zabbix 入门  zabbix介绍与安装  http://tshare365.com/…

    大数据 2021年11月15日
  • LOADRUNNER上传及下载文件

    (1)LoadRunner上传文件                web_submit_data("importStudent.do",            &nb…

    大数据 2021年11月15日
  • 震惊!不需hadoop环境运行scala和pyspark程序

    Databricks官方是这样描述Databricks优势的:         像Databricks这样的云平台提供了一套集成的、主机托管的解决方案,消除了企业采用Spark和确保大数据项目成功所面临的这三大障碍。我们为你提供了全面管理和调…

    大数据 2021年11月15日
  • 三、flink--DataStreamAPI原理以及用法

    一、DataStream基本概述 1.1 datastream是什么? datastream是flink提供给用户使用的用于进行流计算和批处理的api,是对底层流式计算模型的api封装,便于用户编程。 1.2 datastream运行模型 一个完整的datastream运…

    大数据 2021年11月15日
  • 数据库的唯一标示符(ID)的选择

    背景:数年的工作中,已经设计了很多系统或产品的数据库,有单机的、有局域网环境下的、也有互联网环境下的,对于不同的环境,设计考虑都有所不同。即使对于相同的环境,也会因为业务或者数据量的不同而有不同的设…

    大数据 2021年11月15日
  • 数据恢复开卷第一篇就是数据丢失后不要乱搞,保持好现场

    数据恢复开卷第一篇就是数据丢失后不要乱搞,保持好现场,就不会造成2次破坏,这条原则要牢牢做到才行。另外MiniTool功能很强,基本上平时丢数据的情况都能应付,而且很安全(只读的方式扫描,不会破坏数据),万一…

    大数据 2021年11月15日
  • JVM GC(垃圾回收机制)

    jvm不定时去堆内存中清理不可达对象。 什么是不可达对象 对象没有被引用或对象没有存活

    大数据 2021年11月15日
  • 使用JavaMelody监控tomcat以及jvm

    介绍 JavaMelody用于对Java应用或者应用服务器的QA以及开发环境的监控。它并不是一个模拟请求类似JMeter的压力测试工具,而是一个衡量并且计算在应用上的操作信息的工具,也就是说,它只负责对行为进行监控,而不负…

    大数据 2021年11月15日