Hadoop

共 6 篇文章

Hadoop YARN简介

Hadoop YARN简介

YARN 的基本思想是将资源管理和作业调度/监控的功能分解为单独的守护进程。

Hadoop MapReduce简介

Hadoop MapReduce简介

MapReduce作业(job)通常将输入数据集拆分为独立的块,这些块由map任务(map tasks)以完全并行的方式处理。框架对maps的输出(outputs)排序,然后输入到reduce 任务(reduce tasks)。通常,作业的输入和输出都存储在文件系统中。该框架负责调度任务,监控它们并重新执行失败的任务。

Hadoop HDFS简介

Hadoop HDFS简介

HDFS是一种设计用于在通用硬件(commodity hardware)上运行的分布式文件系统。最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的。

Hadoop简介

Hadoop简介

Apache Hadoop是一款用于可靠,可扩展的分布式计算的开源软件。

Logstash6整合Hadoop

Logstash6整合Hadoop

本文是之前elk的后续,故默认已搭建好logstash等elk相关环境。侧重点是Hadoop安装以及其与logstash的Output插件的整合。ELK的搭建可见:ELK实时日志管理-系统搭建