前面的文章我们大致的介绍完了flink中关于Dataset部分的应用开发知识点,从本文开始我们来介绍下Flink的DataStream相关的内容。
DataStream API在flink应用开发中属于一种流式处理,他就像一个水管一样,不停的从上游接收数据源的数据,然后经过各种ETL处理之后,把数据写入到对应的存储系统中去。所以基于DataStream API编程的话,我们必须满足3大要素,分别是:
数据源sources etl转换 写入数据存储sink
整个利用Flink DataStream API开发的job任务,当提交到flink集群之后,都会是一个常驻的任务,除非出现重大错误被程序终止或者我们人为的终止整个job任务之外,整个job任务会一直在flink集群中运行。
整个使用Flink DataStream API开发的job任务,主要由以下5部分组成,分别是:
1、获取一个执行环境(execution environment); 2、加载/创建初始数据; 3、指定数据相关的转换; 4、指定计算结果的存储位置; 5、触发程序执行。
以上就是我们在flink应用开发中对于DataStream API的简要介绍。在后面的文章中,我们会进行更多的案例演示。
还没有评论,来说两句吧...