首页技术文章正文

大数据离散流是什么?它的内部结构是怎样的?

更新时间:2021-01-05 来源:黑马程序员 浏览量:

1577370495235_学IT就到黑马程序员.gif

Spark Streaming提供了一个高级抽象的流,即DStream(离散流)。DStream表示连续的数据流,可以通过Kafka、Flume和Kinesis等数据源创建,也可以通过现有DStream的高级操作来创建。DStream的内部结构如图1所示。

1609835136648_1.jpg

图1 DStream流的内部结构

从图1可以看出,DStream的内部结构是由一系列连续的RDD组成,每个RDD都是一小段时间分隔开来的数据集。实际上,对DStream的任何操作,最终都会转变成对底层RDDs的操作。


猜你喜欢:

Spark RDD是什么?RDD特征介绍

Spark有哪些特点,Spark的生态系统包含哪些组件?

Spark的集群安装与配置简介【大数据技术文章】

黑马程序员大数据培训课程 

分享到:
在线咨询 我要报名