大数据
-
Logstash生成及安装离线插件
由于公司服务器不能连接公网，导致在服务器上安装logstash插件时出现了些问题。 在此记录下离线安装logstash插件的解决方式，供大家参考。 查看Logstash已安装的插件列表 ./bin/logstash-plugin list 导出离线插件…
-
消息队列之kafka(消费语义)
1. 消费语义的介绍 at last once：至少消费一次（对一条消息有可能多次消费，有可能会造成重复消费数据） 原因：Proudcer产生数据的时候，已经写入在broker中，但是由于broker的网…
-
大数据成神之路-Linux基础
Linux命令 我是小白，我从来没玩过Linux,请点这里： https://user-gold-cdn.xitu.io/2019/2/24/1691e1dda7807059 推荐的一个Git仓库 我有些基础，推荐一个快速查询命令的手册，请点这里： https://github.com/jaywc…
-
Hive SQL汇总
创建数据库create database if not exists sopdmcomment 'this is test database'with dbproperties('creator'='gxw','date'='2014-11-12') --数据库键值对属性信息location '/my/preferred/directory'; 显示…
-
kylin安装步骤和注意的点
下载官方的tar包后，解压，配置KYLIN_HOME和HIVE_CONF（hive-site.xml所在的目录）配置conf/kylin.properties和tomcat/conf/server.xmlconf/kylin.properties根据自己需要去配置，主要配置下hive和hbase的相关参数…
-
持续集成、持续交付、持续部署简介
持续集成、持续交付、持续部署简介 相信你一定听过持续集成、持续交付、持续部署这些名词。 持续集成 Continuous Integration 持续交付 Continuous Delivery 持续部署 Continuous Deployment 持续集成 …
-
大数据JAVA继承上
继承的概述 多个类中存在相同属性和行为时，将这些内容抽取到单独一个类中，那么多个类无需再定义这些属性和行为，只要继那个类即可。 多个类可以称为子类，单独这个类称为父类或者超类。 子类可以直接访问父类中的…
-
Powershell DSC 5.0 - 资源的使用
Powershell DSC 自带了一些常见的资源。如果需要新的，可以下载安装 DSC Resource Kit 10或者从Powershell Gallery下载。 比如说查看当前已经安装了的资源 PS C:/Windows/system32> Get-DscResource I…
-
Hibernate主键生成策略strategy = "increment"报错违反唯一性约束
背景2018年7月份，系统爆出一条bug。就是支持Excel导入的功能，导入第二次同模板不同数据时，报错，违反唯一性约束。就死活用不了了，重启Tomcat才能恢复使用。但只能到一个文件 分析需要重启Tomcat，应该是缓存的…
-
Flink大数据计算的机遇与挑战
作者: 王绍翾（大沙） 本文来自于王绍翾在2018年08月11日Flink China Meetup。王绍翾，花名“大沙”，加州大学圣迭戈分校计算机工程的博士，Apache Flink Commiter。目前在阿里负责Flink平台以及生态的一些工作。 本…