在Spark中,RDD是采用惰性求值,即每次调用行动算子操作,都会从头开始计算。然而,每次调用行动算子操作,都会触发一次从头开始的计算,这对于迭代计算来说,代价是很大的,因为迭代计算经常需要多次重复的使用同一组数据集,所以,为了避免重复计算的开销,可以让Spark对数据集进行持久化。查看全文>>
完成虚拟机的安装和网络配置,虽然可以正常使用,但是工作中还需要远程操纵服务器进行各项操作,所以就需要对虚拟机实行配置远程登录和SSH免密登录,进行相关操作。接下来,就分别对这两种服务配置进行说明和详细讲解。查看全文>>
HBase是由Java语言开发的,它对外提供了Java API的接口。接下来,通过Java API来操作HBase分布式数据库,包括增、删、改以及查等对数据表的操作,具体操作步骤如下:查看全文>>
RDD处理过程中的“转换”操作主要用于根据已有RDD创建新的RDD,每一次通过Transformation算子计算后都会返回一个新RDD,供给下一个转换算子使用。面,我们通过结合具体的示例对这些转换算子API进行详细讲解。查看全文>>
使用Scala语言开发单词计数Spark程序,现有文本文件words.txt(读者需要在本地创建文件并上传至指定目录)在HDFS中的/spark/test路径下如果使用Spark Shell来读取HDFS中的/spark/test/ words.txt文件,具体步骤如下:查看全文>>
JavaSE是Java开发的必经之路,也是Java的核心知识。本套视频从零基础学员的角度出发,用最通俗易懂的方式,全面讲解了JavaSE的各个知识点。讲师所有的操作步骤和思考方式都详细呈现在视频中。查看全文>>