Filnk简介
1. flink和spark的区别
2. 流处理和批处理
3. 无界流和有界流
4. 流处理和批处理
-
流处理
- 批处理
5. 离线计算和实时计算的区别
6. 实时计算面临的挑战
1.数据处理唯一性(如何保证数据只处理一次?至少一次?最多一次?)
2.数据处理的及时性(采集的实时数据量太大的话可能会导致短时间内处理不过来,如何保证数据能够及时的处理,不出现数据堆积?)
3.数据处理层和存储层的可扩展性(如何根据采集的实时数据量的大小提供动态扩缩容?)
4.数据处理层和存储层的容错性(如何保证数据处理层和存储层高可用,出现故障时数据处理层和存储层服务依旧可用?)
7. 什么是Flink?
8. Flink’s feature
- 支持高吞吐、低延迟、高性能的流处理
- 支持带有事件时间的窗口(Window)操作
- 支持有状态计算的Exactly-once语义
- 支持高度灵活的窗口(Window)操作,支持基于time、count、session,以及data-driven的窗口操作
- 支持具有反压功能的持续流模型
- 支持基于轻量级分布式快照(Snapshot)实现的容错
- 一个运行时同时支持Batch on Streaming处理和Streaming处理
- Flink在JVM内部实现了自己的内存管理,避免了出现oom
- 支持迭代计算
- 支持程序自动优化:避免特定情况下Shuffle、排序等昂贵操作,中间结果有必要进行缓存
9. Blink
Flink技术栈
原创文章,作者:306829225,如若转载,请注明出处:https://blog.ytso.com/276544.html