参数默认false。当设为true,parquet会聚合所有parquet文件的schema,否则是直接读取parquet summary文件,或者在没有parquet summary文件时候随机选择一个文件的schema作为最终的schema。查看全文>>
Kafka是一个高吞吐量的分布式发布订阅消息系统,它在实时计算系统中有着非常强大的功能。把topic中一个parition大文件分成多个小文件段,通过多个小文件段,就容易定期清除或删除已经消费完文件,减少磁盘占用。查看全文>>
Hadoop实现join有三种方法,第一种是reduce side join,它是一种最简单的join方式,其主要思想如下:查看全文>>
程序被执行后成为了一个活动的实体,这个实体就是进程。换言之,操作系统调度并执行程序,这个“执行中的程序”称为进程。进程是操作系统进行资源分配和调度的基本单位。一般情况下,进程占据的内存空间由控制块、程序段和数据段三个部分组成,各部分的介绍如下。查看全文>>
JSP四大作用域分别为:page、request、session、application。第一个作用域是page,只在当前页面有效,也就是用户请求的页面有效。page只在当前页面有效,也就是用户请求的页面有效,当当前页面关闭或转到其他页面时,page对象将在响应回馈给客户端后释放。查看全文>>
在Python中,具有特殊功能的标识符称为关键字,每个关键字都代表不同的含义,Python语言自己已经使用它们,不允许自己定义和关键字相同名字的标识符,开发者应该尽量避开这些关键字。Python中的关键字如下所示:查看全文>>