Flink
-
1. Flink实时数仓
1. Flink实时数仓 1.1 离线数仓 1.2 离线数仓迁移实时数仓 1.3 实时数仓 1.4 实时ETL 1.5 实时指标统计 1.6 实时标签导入 1.7 端到端的实时处理…
-
报错:Flink cannot assign instance of org.apache.commons.collections.map.LinkedMap to field
报错背景 运行Flink jar包时出现报错。 报错现象 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: F…
-
flink-优化(MiniBatch_Local-Global,反压)
8、优化 1、MiniBatch 聚合 flink默认是每一条数据都会取更新状态 MiniBatch :缓存一批数据一起更新状态,优点:增加吞吐量,缺点:增加延迟- 开启MiniB…
-
Flink SQl 语法(hint,with,select,分组窗口聚合,时间属性(处理,事件))
6、Flink SQl 语法 1、查询语句 1、hint 在对表进行查询的是偶动态修改表的属性 — 创建表 CREATE TABLE word ( lines STRING ) …
-
Flink-core小总结
Flink-core小总结 1. 实时计算和离线计算 1.1 离线计算 离线计算的处理数据是固定的 离线计算是有延时的,T+1 离线计算是数据处理完输出结果,只是输出最终结果 离线…
-
Flink-任务需要申请的资源和并行度有关,和task的数量没有关系
Flink-任务需要申请的资源和并行度有关,和task的数量没有关系 1. 非Flink的需要5个task,如下: 但是在Flink中采用共享模式 在代码中设置并行度为2 pack…
-
Flink on yarn (三种模式)-调节集群的核数和内存方法
FLINK on YARN 将flink的任务提交到yarn上运行 1、可以先关闭flink的独立集群 stop-cluster.sh 2、配置HADOOP_CLASSPATH v…
-
Filnk简介
Filnk简介 1. flink和spark的区别 2. 流处理和批处理 3. 无界流和有界流 4. 流处理和批处理 流处理 批处理 5. 离线计算和实时计算的区别 6. 实时计算…
-
Flink-java(api)
Flink-java(api) 1. Map package com.wt.flink.tf import org.apache.flink.api.common.function…
-
Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 
问题:Caused by: java.lang.RuntimeException: Record has Long.MIN_VALUE timestamp (= no times…