JasonLee实时计算C
-
Flink到底能不能实现exactly-once语义
关于这个问题其实从一开始很多人是存在质疑的,首先exactly-once语义指的是即使在出现故障的情况下,Flink流应用程序中的所有算子都保证事件只会被”精确一次&#…
-
Flink SQL JSON Format 源码解析
用 Flink SQL 解析 JSON 格式的数据是非常简单的,只需要在 DDL 语句中设置 Format 为 json 即可,像下面这样: 那么你有没有想过它的底层是怎么实现的呢…
-
Flink 通过 State Processor API 实现状态的读取和写入
大家好，我是 JasonLee。 在 1.9 版本之前，Flink 运行时的状态对于用户来说是一个黑盒，我们是无法访问状态数据的，从 Flink-1.9 版本开始，官方提供了 St…
-
IDEA 中使用 Big Data Tools 连接大数据组件
简介 Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cl…
-
Flink到底能不能实现exactly-once语义
关于这个问题其实从一开始很多人是存在质疑的,首先exactly-once语义指的是即使在出现故障的情况下,Flink流应用程序中的所有算子都保证事件只会被”精确一次&#…
-
Flink on yarn 远程调试源码
大家好，我是 JasonLee。 前几天有小伙伴问我，我写的 Flink 代码是提交到 yarn 上去运行的，那我怎么能远程调试代码呢？在本地调试代码大家都非常熟悉了，直接在 ID…
-
Flink Print SQL Connector 添加随机取样功能
Flink 提供了 Print SQL Connector 可以让我们非常方便的把数据打印到标准输出.有助于我们测试 SQL 任务,检验数据的正确性. 但是在生产环境中,上游的数据…
-
Flink 源码分析之 Client 端启动流程分析
抛出问题 首先来思考一个问题，我们在提交 Flink 任务的时候，在 Flink 客户端执行了下面的命令后，Flink 客户端做了哪些事情？又是怎么执行我们自己写的代码？相信读完这…
-
Flink源码分析: 窗口机制的执行流程
这篇文章主要是研究一下Flink的window执行流程,但是不会详细的分析代码实现的细节,因为这部分的代码还是非常多的,先了解一下代码执行的整个流程,为后面分析WindowOper…
-
sparkstreaming消费多个topic数据获取topic的信息
这个问题是最近一个朋友问我的,用sparkstreaming消费kafka的多个topic,怎么获取topic的信息,然后根据不同topic的数据做不同的逻辑处理. 其实这个问题非…
-
Flink Print SQL Connector 添加随机取样功能
Flink 提供了 Print SQL Connector 可以让我们非常方便的把数据打印到标准输出.有助于我们测试 SQL 任务,检验数据的正确性. 但是在生产环境中,上游的数据…
-
Flink源码分析：WindowOperator底层实现
上一篇文章介绍了 Flink窗口机制的执行流程，其实WindowOperator才是真正负责window中元素存储和计算流程的核心类。这篇文章主要就是分析一下WindowOpera…
-
Flink on zepplien的使用体验
Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的notebook。Zeppelin提供了数据可视化的框架。Flink结合zepplien使用可以让提交Fl…
-
Flink on zeppelin体验第二弹
上一篇文章主要介绍了Flink on zeppelin的安装和使用,配置了yarn的模式跑通了一个streaming wordcount的例子,本文主要介绍结合kafka的使用,实…
-
Flink on zeppelin第三弹UDF的使用
用户自定义函数是非常重要的一个特征，因为它极大地扩展了查询的表达能力。不管是在spark sql或者hive中都支持用户自定义UDF的使用,虽然Flink提供了很多内置的UDF可以…
-
Flink on zeppelin第四弹hive streaming writing
概述随着Flink1.11.0版本的发布,一个很重要的特性就是支持了流数据直接写入到hive中,用户可以非常方便的用SQL的方式把kafka的数据直接写入到hive里面.这篇文章会…
-
Flink on zeppelin第五弹设置checkpoint
概述 Flink的exactly-once语义实现是需要依赖checkpoint的,对于一个有状态的Flink任务来说如果想要在任务发生failover,或者手动重启任务的时候任务…
-
Flink on zeppelin从checkpoint&savepoint自动恢复任务
在上一篇的文章中介绍了Flink on zeppelin怎么配置checkpoint,并且从指定的checkpoint恢复任务,但是这个过程还是相对复杂,对用户来说不是很友好,在最…
-
Flink on yarn 远程调试源码
大家好，我是 JasonLee。 前几天有小伙伴问我，我写的 Flink 代码是提交到 yarn 上去运行的，那我怎么能远程调试代码呢？在本地调试代码大家都非常熟悉了，直接在 ID…
-
Flink-1.11 新的部署模型 application mode
在 Flink-1.11 版本之前 Flink on yarn 有两种部署的模式, session 模式和 per-job 模式,但是这两种模式都存在一定的问题,所以在最新的 Fl…
