Hadoop是由Java语言开发的,Hadoop集群的使用依赖于Java环境,因此在安装Hadoop集群前,需要先安装并配置好JDK。 接下来,就在前面规划的Hadoop集群主节点hadoop01机器上分步骤演示,如何安装和配置JDK,具体如下。查看全文>>
虚拟机在安装和克隆之后,虽然能够直接使用,但是此时虚拟机的IP是动态生成的,在不断的开停过程中很容易改变,非常不利于实际开发;通过Hadoop01克隆的虚拟机(假设克隆了2个虚拟机Hadoop02和Hadoop03)则完全无法动态分配到IP,直接无法使用。因此,虚拟机在安装和克隆之后还需要对虚拟机的网络都分别进行配置。查看全文>>
Client(客户端)对HDFS中的数据进行读写操作,分别是Client从HDFS中查找数据,即为Read(读)数据;Client从HDFS中存储数据,即为Write(写)数据。假设有一个文件1.txt文件,大小为300M,这样就划分出3个数据块,我们根据这三个模块分别讲解HDFS文件读数据和写数据的原理。查看全文>>
系统的性能是一个很大的概念,覆盖面非常广泛,包括执行效率、资源占用、系统稳定性、安全性、兼容性、可靠性、可扩展性等,性能测试就是描述测试对象与性能相关的特征并对其进行评价而实施的一类测试。查看全文>>
性能测试不同于功能测试,功能测试只要求软件的功能实现即可,而性能测试是测试软件功能的执行效率是否达到要求。例如某个软件具备查询功能,功能测试只测试查询功能是否实现,而性能测试却要求查询功能足够准确、足够快速。但是,对于性能测试来说,多快的查询速度才是足够快,什么样的查询情况才足够准确是很难界定的,因此,需要一些指标来量化这些数据。查看全文>>
MapReduce程序运行模式有本地运行模式和集群运行模式,集群运行模式只需要将MapReduce程序打成Jar包上传至集群即可,下面我们以词频统计为例,讲解如何将MapReduce程序设置为在本地运行模式。查看全文>>