首页最新资讯

全部 常见问题 新闻动态 技术文章 技术问答

    • Numpy基础操作:数组之间形状相互转换

      ndarray对象提供了一些可以便捷地改变数组基础形状的属性和方法,例如,将一个3行4列的二维数组转换成6行2列的二维数组,关于这些属性和方法的具体说明如表9-3所示。查看全文>>

      技术文章2021-12-08 |黑马程序员 |Numpy基础操作
    • MapReduce编程模型:Map阶段和Reduce阶段

      MapReduce是一种编程模型,用于处理大规模数据集的并行运算。使用MapReduce执行计算任务的时候,每个任务的执行过程都会被分为两个阶段,分别是Map和Reduce,其中Map阶段用于对原始数据进行处理,Reduce阶段用于对Map阶段的结果进行汇总,得到最终结果,这两个阶段的模型如下图所示。查看全文>>

      技术文章2021-12-06 |黑马程序员 |MapReduce编程模型
    • ReduceTask工作原理:ReduceTask工作过程有哪几个阶段?

      ReduceTask的工作过程主要经历了5个阶段,分别是Copy阶段、Merge阶段、Sort阶段、Reduce阶段和Write阶段,如下图所示。查看全文>>

      技术文章2021-12-06 |黑马程序员 |ReduceTask工作原理
    • 简述MapTask工作原理

      MapTask作为MapReduce工作流程的前半部分,它主要经历了5个阶段,分别是Read阶段、Map阶段、Collect阶段、Spill阶段和Combine阶段,如下图所示。查看全文>>

      技术文章2021-12-06 |黑马程序员 |MapTask工作原理
    • MapReduce核心思想【图文介绍】

      MapReuce的核心思想是“分而治之”。所谓"分面治之”就是把一个复杂的问题,按照一定的“分解”方法分为等价的规模较小的若干部分.然后逐个解决,分别找出各部分的结果,把各部分的结果组成整个问题的结果.这种思想来源于日常生活与工作时的经验,同样也完全适合技术领域。查看全文>>

      技术文章2021-12-03 |黑马程序员 |MapReduce核心思想
    • Flume日志采集系统:简单结构和复杂结构

      Agent传输或者进行集中式存储。查看全文>>

      技术文章2021-12-02 |黑马程序员 |Flume日志采集系统