春节前期南方政务某现场搭建了大规模100节点ES集群。最近开始上线新业务流程:FlinkCDC将业务数据库日志写入Kafka，然后Flink消费Kafka数据写...

一系列数据（Data-5, Data-4, Data-1, Data-3, Data-2）按一定顺序排列。

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。

打开/include/taglib/flink.lib.php 查找以下代码：

Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机）之上，并兼容现有的Jav...

五一假期某局点高速龙门架计费业务瘫痪，ISV定位之后反馈业务系统模块存在Flink写Kafka失败的问题。具体的异常日志如下：

嘿，各位技术小伙伴们！在这个信息爆炸的时代，你是不是常常惊叹于各大平台仿佛能 “读懂你的心”，精准推送你感兴趣的内容呢？今天，小编就带大家深入探寻背后的神奇技术...

在数据处理领域，Apache Flink 一直是流处理和批处理的佼佼者。随着数据量的不断增长和业务需求的日益复杂，如何简化数据管道的开发和管理成为了亟待解决的问...

RocksDB 的 JNI（Java Native Interface）桥接 API 对每个键和值的大小限制为 2^31 字节（即 2GB），主要是由以下几个原...

线上实时任务，通过 FlinkSQL 关联 Iceberg 维表，维表大搞有 60w，首先通过 FlinkSQL关联 Iceberg 维表上线了，经过一番调优后...

写了一个 Flink 作业基于状态计算各种汇总数据，刚开始没有问题是正常的，做完一个 checkpoint 后，就开始报错，错误内容如下：

想当初Spark横空出世之后，Scala简直就是语言界的一颗璀璨新星，惹得大家纷纷侧目，连Kafka这类技术框架也选择用Scala语言进行开发重构。 可如今，...

Flink State 是有元数据的，元数据发生改变后，Flink 就无法从 ck 或者 savepoint 中恢复。

动态的将责任附加到对象上。若要扩展功能，装饰者提供了比继承更有弹性的替代方案。 简单的理解就是通过包装来扩展功能，相比于继承，更有弹性

像 filter、map等都会进行类似的操作，flink sql 中也是采用这样的方式来将 ExecNode 转化为 flink operator 的

二、Flink 是如何处理 Data Type 的 首先Flink会根据自身的序列化器进行序列化，如果不行，则默认回退到 Kryo 序列化器进行序列化。

我们一起看一下，它是如何获取原始 state 的，跟进到 AbstractKeyedStateBackend

结论： ColumnFamily Name==ColumnFamilyDescirptor Name == StateDescriptor Name

首先来看一下 FlinkKafkaConsumerBase.run方法，相当于是Flink 从kafka中拉取数据的入口方法: